CoreWeave als erster Anbieter zur NVIDIA Exemplar Cloud für GB200-NVL72-Training ernannt
CoreWeave gibt an, als erster Cloud-Anbieter von NVIDIA als Exemplar Cloud für Trainings-Workloads auf NVIDIA-GB200-NVL72-Systemen ausgezeichnet worden zu sein. Nach Unternehmensangaben übertrafen die Cluster in allen vier getesteten Fällen NVIDIAs Referenzwerte für die Model Flops Utilization (MFU).
- CoreWeave gibt an, als erste Cloud von NVIDIA als Exemplar Cloud für GB200-NVL72-Training-Workloads ausgezeichnet worden zu sein.
- Auf 512 GPUs übertraf die MFU die NVIDIA-Referenzwerte um 1,9 % (DeepSeek v3), 4,7 % (Grok-1 314B), 3,8 % (Llama 3.1 405B) und 2,4 % (Llama 3 70B).
- Die Tests liefen laut CoreWeave auf einem regulären Cluster aus 8 GB200-NVL72-Racks mit Quantum-2 InfiniBand, nicht in einem speziellen Laboraufbau.
- GPU Straggler Detection und automatische Job-Neustarts von Mission Control behoben Fehler ohne Eingreifen von Administratoren.
Was der Exemplar-Cloud-Status umfasst
Die Initiative NVIDIA Exemplar Cloud wurde ins Leben gerufen, um Cloud-Plattformen streng und standardisiert zu vergleichen und damit Transparenz und Reproduzierbarkeit sicherzustellen. CoreWeave zufolge arbeitete das Unternehmen bei den GB200-NVL72-Tests mit NVIDIA zusammen. Die von CoreWeave Mission Control optimierte Infrastruktur habe in allen kritischen Testfällen durchgehend die Zielwerte übertroffen.
Es ist nicht die erste derartige Auszeichnung des Unternehmens. Anfang des Jahres wurde CoreWeave bereits als NVIDIA Exemplar Cloud für die NVIDIA H100 GPU ausgezeichnet, getestet mit bis zu 1.024 GPUs und einem Modell im Stil von Llama 2 mit 30 Milliarden Parametern.
Der Zertifizierungsprozess prüft laut CoreWeave Leistung und Stabilität unter extremer Last. Im Mittelpunkt stehen drei Bereiche: Goodput und Effizienz des Clusters, Leistungsskalierung über große verteilte GB200-NVL72-Cluster hinweg sowie die Widerstandsfähigkeit von Hardware und System bei langen Trainingsläufen.
Benchmark-Ergebnisse auf 512 GPUs
Die Leistung wurde anhand der MFU gemessen, die CoreWeave als unabhängigen Goldstandard zur Messung der Effizienz beim Training großer Modelle bezeichnet. Alle vier folgenden Ergebnisse wurden auf 512 GPUs erzielt und mit dem NVIDIA-Referenzwert verglichen:
- DeepSeek v3 (BF16): 1,9 % höhere MFU
- Grok-1 314B (BF16): 4,7 % höhere MFU
- Llama 3.1 405B (FP8): 3,8 % höhere MFU
- Llama 3 70B (FP8): 2,4 % höhere MFU
Die Abstände sind in Prozent zwar moderat, zeigen aber, dass der Cluster die von NVIDIA gesetzten Zielwerte nicht nur erreicht, sondern übertrifft.
So wurde der Testcluster betrieben
CoreWeave betont, keine „handverlesene“ Laborumgebung genutzt zu haben. Die Benchmarks liefen auf einem regulären CoreWeave-Cloud-Cluster aus 8 Racks mit NVIDIA-GB200-NVL72-Systemen, verbunden über NVIDIA Quantum-2 InfiniBand.
Laut Unternehmen nutzt CoreWeave Mission Control einen großen Datenbestand aus dem Betrieb Hunderttausender NVIDIA-GPUs, um Ausfälle vorausschauend zu erkennen und abzufangen, statt auf passives Monitoring zu setzen. Das System testet Komponenten laufend und ersetzt suboptimale, bevor sie die Workloads von Kunden beeinträchtigen.
Der in der Ankündigung beschriebene Software-Stack umfasst:
- CoreWeave Bare Metal servers: direkter Zugriff auf GPU-Ressourcen ohne Hypervisor.
- CoreWeave Kubernetes Service (CKS): die Basislaufzeitumgebung, integriert in Mission Control.
- CoreWeave Slurm on Kubernetes (SUNK): topologiebewusstes Scheduling, das laut CoreWeave Wartung und vorausschauendes Fehlermanagement ermöglicht, ohne laufende Jobs zu unterbrechen.
Zum Monitoring dienten CoreWeave Cabinet Visualizer für den Zustand der Racks, die Observability von Mission Control für die Infrastruktur und Weights & Biases für Metriken auf Job-Ebene.
Straggler-Erkennung und automatische Wiederherstellung
Um die Leistung über alle 8 Racks hinweg gleichmäßig zu halten, setzte CoreWeave eine kürzlich eingeführte Mission-Control-Funktion namens GPU Straggler Detection ein. Sie liefert kollektive Metriken in Echtzeit, darunter Bus Bandwidth, erkennt Hardware-Hänger automatisch und identifiziert die Ursache. In einer gezeigten Iteration wurde absichtlich eine leistungsschwache Komponente in den Cluster eingebaut, um die Erkennung zu demonstrieren.
Nach Angaben von CoreWeave lief der Benchmark ohne jedes Eingreifen von Cluster-Administratoren, um Fehler oder leistungsschwache Komponenten zu isolieren. Wenn mögliche Hardwarefehler auftraten, isolierte Mission Control das Problem, stellte die Daten in den Dashboards von SUNK und Weights & Biases bereit und löste einen automatischen Neustart des Jobs auf gesunden Knoten aus.
Was das für Kunden bedeutet
Für Teams, die große Modelle trainieren, lautet das praktische Versprechen: Planbarkeit. CoreWeave argumentiert, dass veröffentlichte, standardisierte Benchmark-Daten Entwicklern, Forschern und Ingenieuren erlauben, Deployments mit Zuversicht zu planen und Anbieter bei der Leistung in die Pflicht zu nehmen. Das Unternehmen erklärt, die Ergebnisse spiegelten wider, was Kunden über Hardware- und Software-Generationen hinweg konstant erhielten, und trügen dazu bei, Trainingszeit und Kosten zu senken. Dies sind Aussagen des Unternehmens selbst, die auf Tests mit NVIDIAs Referenzwerten beruhen.
