CoreWeave erweitert sein KI-Trainingssystem um Self-Service und SUNK Anywhere
CoreWeave baut SUNK aus, sein Slurm-on-Kubernetes-System für das Training von KI-Modellen. Neu sind eine Self-Service-Bereitstellung und die Option SUNK Anywhere, die das System auf Infrastruktur außerhalb von CoreWeave ausdehnt. Zudem integriert das Unternehmen eine Erkennung von GPU-Nachzüglern (Straggler Detection) in die Observability-Lösung Mission Control.
- CoreWeave ergänzt SUNK, sein Slurm-on-Kubernetes-System für KI-Training, um Self-Service und SUNK Anywhere.
- SUNK Anywhere dehnt das System auf Infrastruktur außerhalb von CoreWeave aus, auch auf Umgebungen im Besitz der Kunden.
- Mission Control erhält eine Erkennung von GPU-Nachzüglern, um leistungsschwache GPUs, Knoten oder Kommunikationspfade bei laufenden Jobs zu finden.
- CoreWeave gibt in Benchmark-Szenarien bis zu 96 % Goodput und eine 10-fach längere mittlere Zeit bis zum Ausfall an.
- IBM, Cursor, Periodic Labs und SemiAnalysis werden in der Ankündigung zitiert.
Das Problem, das CoreWeave angehen will
Nach Darstellung von CoreWeave ist der Aufbau moderner KI-Forschungscluster nach wie vor zu aufwendig. Teams müssten Kubernetes-Bausteine, Scheduler, Identitätssysteme und Observability-Werkzeuge zusammenstückeln, und trotzdem entstehe kein System, das für anspruchsvolle Trainings-Workloads bereit sei. Der Zugang zu GPUs sei für die meisten Forschungsteams nicht mehr die größte Hürde, argumentiert das Unternehmen. Die schwierigere Arbeit komme danach: Scheduling, Zugriffsverwaltung, Lifecycle-Betrieb, Observability und das Verhalten der Cluster bei lange laufenden Jobs.
CoreWeave beschreibt SUNK als "das branchenweit erste einheitliche, speziell entwickelte Trainingssystem" für Workloads wie monatelange Pretraining-Läufe, groß angelegtes Reinforcement Learning (RL) und Agentenumgebungen. Es biete Slurm-Workflows zusammen mit den betrieblichen Vorteilen von Kubernetes und sei das bewährteste Slurm-on-Kubernetes-Angebot am Markt. Dabei handelt es sich um Aussagen des Unternehmens selbst.
Self-Service und Nutzerbereitstellung
Mit SUNK Self-Service sollen sich SUNK-Cluster schneller in Betrieb nehmen lassen, indem CoreWeave-Best-Practices angewendet werden. Standardisierte, klar vorgegebene Muster böten Teams eine produktionsreife Grundlage, vereinfachten das Onboarding und sorgten dafür, dass sich Cluster über die Zeit konsistenter verhalten, so das Unternehmen. Plattformteams erhielten einen besser wiederholbaren Weg, Forschungscluster bereitzustellen und zu betreiben, ohne für jeden Cluster dasselbe Betriebsmodell neu aufzubauen.
Auch die Zugriffsverwaltung ist Teil des Updates. Die Automated User Provisioning (AUP) synchronisiert per SCIM Nutzer und Gruppen aus einem Identitätsanbieter in CoreWeave IAM. SUNK User Provisioning (SUP) automatisiert die POSIX-Nutzer, Gruppen, SSH-Schlüssel und Slurm-Konten, die in SUNK-Clustern benötigt werden. Beide zusammen verringerten den manuellen Onboarding-Aufwand, sagt CoreWeave.
Dylan Patel, Gründer, CEO und Chief Analyst von SemiAnalysis, wird in dem Beitrag mit den Worten zitiert, selbst Kunden mit einem langfristig zugesagten Vertrag hätten viele Gründe, Cluster schnell hochzufahren, und "Geschwindigkeit ist der Burggraben".
SUNK Anywhere und Erkennung von GPU-Nachzüglern
SUNK Anywhere dehnt dasselbe Trainingssystem über die CoreWeave-Infrastruktur hinaus aus. Laut CoreWeave können Organisationen damit anspruchsvolle KI-Workloads anbieterübergreifend und auf eigener Infrastruktur der Kunden einheitlich betreiben, statt das Training auf verschiedene Stacks aufzuteilen. Forscher behielten ein vertrautes Scheduling-Verhalten und gewohnte Workflows, auch wenn die Umgebungen wachsen.
Xander Dunn von Periodic Labs sagt in dem Beitrag, sein Team führe große verteilte Jobs auf Tausenden GPUs sowohl bei CoreWeave als auch bei anderen Anbietern aus, und die Bereitstellung von SUNK auf den Clustern außerhalb von CoreWeave "erfordert nur sehr wenige Konfigurationsänderungen".
Bei der Observability ergänzt CoreWeave Mission Control um eine Erkennung von GPU-Nachzüglern. Das Unternehmen weist darauf hin, dass beim verteilten Training nicht immer ein sauberer Ausfall das teure Problem sei: Eine einzelne GPU, ein Knoten oder ein Kommunikationspfad könne zu wenig leisten und den gesamten Job ausbremsen. Durch mehr Einblick in die Kommunikation zwischen den GPUs ließen sich Ausreißer früher erkennen, solange die Jobs noch laufen. Laut CoreWeave können Forscher die GPU, die einen Hänger verursacht, gezielt ausfindig machen und den Job ohne sie neu starten.
Kundenstimmen und Leistungsangaben
CoreWeave führt zwei Kunden an. IBM hebt topologiebewusstes Scheduling und individuelle Dashboards hervor, die schnellere und effizientere Trainingsläufe sowie eine höhere Clusterauslastung auf rackskaligen GB200-Systemen ermöglichten. Cursor verweist auf gemeinsame Dateisysteme, automatisierte Nutzerbereitstellung und anpassbare Umgebungen, mit denen sich Forscher auf die Forschung statt auf Werkzeuge konzentrieren könnten.
Zur Leistung gibt das Unternehmen an, SUNK sei darauf ausgelegt, die produktive Trainingszeit zu maximieren, mit bis zu 96 % Goodput und einer 10-fach längeren mittleren Zeit bis zum Ausfall in Benchmark-Szenarien. Details zu diesen Benchmarks nennt die Quelle nicht.
Was das für KI-Teams bedeutet
Für Forschungs- und Plattformteams zielt das Update darauf ab, den Aufwand für Aufbau und Betrieb von Trainingsclustern zu senken. Self-Service soll die Einrichtung bei CoreWeave beschleunigen, während sich SUNK Anywhere an Teams richtet, die bei mehreren Anbietern oder auf eigener Hardware arbeiten und einen einheitlichen Workflow wollen. Preise oder Verfügbarkeitstermine für die neuen Funktionen nennt die Quelle nicht.
