CoreWeave meldet 51 bis 52 % MFU und 3,66 Tage MTTF im Test mit 1.024 H100-GPUs
CoreWeave zufolge hat ein sechswöchiger Benchmark mit bis zu 1.024 NVIDIA-H100-GPUs eine Model FLOPs Utilization (MFU) von 51 bis 52 Prozent und eine mittlere Zeit bis zum Ausfall (MTTF) von 3,66 Tagen erreicht. Der Cloud-Anbieter argumentiert, dass nicht die reinen TFLOPs, sondern die Zuverlässigkeit der eigentliche Engpass beim KI-Training im großen Maßstab sei.
- CoreWeave meldet 51 bis 52 % MFU auf NVIDIA-H100-GPUs, gegenüber üblicherweise berichteten 35 bis 45 %.
- Die MTTF erreichte bei 1.024 GPUs 3,66 Tage, was CoreWeave als Verbesserung um das Zehnfache gegenüber einer Basis von 0,33 Tagen bezeichnet.
- In der sechswöchigen Studie wurde ein Llama-3-ähnliches Modell mit 30 Milliarden Parametern auf 2 Billionen Tokens mit Megatron-LM trainiert.
- Asynchrones Tensorizer-Checkpointing verkürzte die Speicherzeit laut CoreWeave von 129 auf 17 Sekunden.
- CoreWeave wendet die Optimierungen auf NVIDIA-GB200-NVL72-Cluster an und hat einen 30-seitigen technischen Bericht veröffentlicht.
Das Problem: Unterbrechungen und geringe Auslastung
CoreWeave geht zunächst von der Behauptung aus, dass Trainingsläufe in der Produktion nicht nur an fehlender Rechenleistung scheitern, sondern an der Summe aus Unterbrechungen und Ineffizienzen. Das Unternehmen verweist auf ein Paper mit dem Titel „Revisiting Reliability“ eines führenden KI-Labors, in dem bei 1.024 GPUs eine MTTF von 0,33 Tagen angegeben wurde. Das bedeutet einen Absturz etwa alle acht Stunden, wobei durch das Neuladen und verlorene Trainingsschritte Tage verloren gehen.
Zudem sinke die MFU häufig auf 35 bis 45 Prozent, was nach Angaben des Unternehmens die effektive Geschwindigkeit halbiere. Als Beleg für die Herausforderung führt CoreWeave einen weiteren Trainingsbericht eines führenden KI-Labors an, der über 54 Tage hinweg bei 16K GPUs Hunderte ungeplanter Unterbrechungen dokumentierte.
Aufbau der Studie
Laut CoreWeave nutzte der Test Training im Produktionsmaßstab statt synthetischer Workloads. Die Parameter im Überblick:
- Modell: eine Llama-3-ähnliche Architektur mit 30 Milliarden Parametern
- Skalierung: bis zu 1.024 NVIDIA-H100-GPUs
- Datensatz: 2 Billionen Tokens aus Dolma v1.6
- Framework: Megatron-LM im Produktionseinsatz
- Metriken: MTTF, ETTR, MFU, Checkpoint-Leistung und Tokenisierungsdurchsatz
Bei der Hardware setzte CoreWeave auf Bare-Metal-H100-Cluster, um den Hypervisor-Overhead zu beseitigen, mit eigener Kontrolle über das NUMA-Pinning. Das Unternehmen beschreibt ein Dual-Fabric-Design: NVIDIA Quantum InfiniBand für All-Reduce-Operationen und ein separates Ethernet-Netzwerk, das für den Speicherverkehr von NVIDIA BlueField DPUs entlastet wird, um Netzwerkkonflikte zu vermeiden.
Für die Orchestrierung nutzt CoreWeave SUNK (Slurm on Kubernetes) mit topologiebewusster Planung und Health-Probes, die ausfallende Knoten entfernen, bevor sie Jobs beeinträchtigen. Fehlgeschlagene Prozesse werden automatisch neu eingereiht und starten laut CoreWeave nach etwa 90 Sekunden neu, gegenüber mehr als vier Minuten bei manueller Fehlersuche.
Beim Speicher verkürzte das auf Tensorizer basierende asynchrone Checkpointing die Speicherzeit von 129 auf 17 Sekunden, bei einer Rechenauslastung von weiterhin über 99 Prozent. Ein eigens entwickelter gpt_bpe-Tokenizer erreichte 63 Mio. Tokens pro Sekunde, nach Angaben von CoreWeave das Sechs- bis Zwölffache der HuggingFace Tokenizers.
Gemeldete Ergebnisse
CoreWeave nennt folgende Ergebnisse:
- 51 bis 52 % MFU auf H100-GPUs, gegenüber üblicherweise berichteten 35 bis 45 %
- 3,66 Tage MTTF bei 1.024 GPUs, eine Verbesserung um das Zehnfache gegenüber der Basis von 0,33 Tagen
- 97,5 % ETTR (Effective Training Time Ratio)
- Achtmal schnelleres Checkpointing durch die asynchrone Tensorizer-Implementierung
- Eine prognostizierte MTTF-Verbesserung von 43,7 % bei 16.384 GPUs im Vergleich zu den berichteten Zahlen von Llama 3
Das Unternehmen verglich seine Werte außerdem mit veröffentlichten Konfigurationen. Gegenüber einer anderen KI-Forschungsgruppe nennt es 51,9 % MFU gegenüber 40,43 % (eine Verbesserung um 28 %). Gegenüber einem weiteren führenden KI-Labor sind es 49,2 % gegenüber 41,85 % (eine Verbesserung um 18 %). CoreWeave gibt an, auch bei Leistung und Zuverlässigkeit mit den Benchmarking-Rezepten von NVIDIA DGX Cloud gleichgezogen zu haben.
Als Beispiel für die Automatisierung beschreibt CoreWeave einen Lauf mit 512 GPUs um 2:17 Uhr, bei dem SUNK einen ausfallenden Knoten erkannte, entfernte, den Workload neu einplante und das Training innerhalb von 3 Minuten wieder aufnahm, noch bevor der Bereitschaftsingenieur alarmiert wurde.
Kosten und Ausblick
CoreWeave übersetzt die Gewinne in Geld. Bei einem 30-tägigen Lauf mit 1.024 GPUs zu 2,10 US-Dollar pro GPU-Stunde ergibt die Steigerung der durchschnittlichen MFU von 42 auf 51 Prozent rund 6.000 GPU-Stunden zusätzlicher effektiver Rechenleistung im Wert von 12.600 US-Dollar, ohne dass sich die Rechnung ändert. Das Unternehmen erklärt, der Zuwachs von 9 Prozentpunkten bedeute, dass das Training 18 % schneller abgeschlossen sei und bei monatelangen Jobs fast eine Woche einspare.
Es handelt sich um eigene Messungen und Berechnungen des Unternehmens. Die vollständige Methodik steht in einem 30-seitigen technischen Bericht, der laut CoreWeave ab sofort verfügbar ist und die Mathematik der Survival-Modelle sowie Rohprotokolle enthält. Das Unternehmen fügt hinzu, dass es die Optimierungen bereits auf NVIDIA-GB200-NVL72-Cluster anwende und Live-MFU-Dashboards für Kunden-Workloads entwickle.
Für Teams, die große Trainingsläufe planen, lautet die Botschaft, dass das Infrastrukturdesign bei einer Skalierung auf Tausende GPUs sowohl Geschwindigkeit als auch Stabilität beeinflusst. Wer sich auf die Zahlen stützen will, muss den technischen Bericht mit den eigenen Workloads abgleichen.
