CoreWeave: Bis zu 20 Prozent mehr Effizienz bei GPU-Clustern als in öffentlichen Benchmarks
CoreWeave gibt an, dass seine KI-Cloud-Plattform auf NVIDIA-Hopper-GPUs eine Model FLOPS Utilization (MFU) von über 50 Prozent erreicht. Das Unternehmen spricht von bis zu 20 Prozent mehr Leistung als in öffentlichen Benchmarks für das Training von Foundation-Modellen. Diese liegen laut CoreWeave typischerweise zwischen 35 und 45 Prozent.
- CoreWeave gibt eine MFU von über 50 Prozent auf NVIDIA-Hopper-GPUs an, öffentliche Benchmarks liegen bei 35 bis 45 Prozent.
- Auf 128 H100-GPUs meldet das Unternehmen 51,9 Prozent MFU gegenüber 40,43 Prozent bei Aleph Alpha sowie 49,2 Prozent gegenüber 41,85 Prozent bei MosaicML.
- Vorläufige Tests mit den NVIDIA DGX Cloud Benchmarking Recipes zeigen Leistung auf Augenhöhe mit NVIDIAs Referenzsystem.
- CoreWeave nennt eine Goodput-Rate von bis zu 96 Prozent und Speichergeschwindigkeiten von bis zu 2 GB pro Sekunde und GPU.
- Die Ergebnisse stammen aus der eigenen Analyse des Unternehmens und sind nicht unabhängig überprüft.
Was die Effizienzlücke bedeutet
Die MFU misst den tatsächlich beobachteten Durchsatz im Verhältnis zum theoretischen Maximum, das ein System bei maximaler FLOPs-Leistung erreichen könnte. CoreWeave argumentiert, dass aufgrund der Komplexität beim Betrieb von KI-Infrastruktur der Großteil der GPU-Rechenkapazität durch Ineffizienzen im System verloren geht. Empirische Belege deuteten auf Leistungswerte von 35 bis 45 Prozent hin.
Den Abstand zwischen dieser Spanne und den theoretischen 100 Prozent nennt das Unternehmen die „AI Efficiency Gap“. Wird sie verkleinert, lassen sich laut CoreWeave Leistung und Modellqualität steigern, Entwicklungszeiten verkürzen und die Kosten für KI-Modelle senken.
Außerdem vertritt CoreWeave die Auffassung, dass die Allzweck-Clouds der klassischen Hyperscaler vor mehr als zehn Jahren für Anwendungen wie Suche, E-Commerce, Web-Hosting und Datenbanken entwickelt wurden und auf CPU-basierter Web-Scale-Rechenleistung beruhen. Aus Sicht des Unternehmens benötigen KI-Labore und Unternehmen eine spezialisierte, GPU-basierte Umgebung, die auf KI-Workloads ausgelegt ist.
So lief der Vergleich ab
CoreWeave startete Trainingsläufe mit Llama 3.1 auf einem Cluster mit 128 NVIDIA-H100-GPUs (16 Knoten) und verglich die Ergebnisse mit veröffentlichten Zahlen von Aleph Alpha und MosaicML.
- Aleph Alpha und das Hasso-Plattner-Institut veröffentlichten eine MFU von 40,43 Prozent für ein Llama-30B-Modell mit einem Kontextfenster von 8K Token auf 128 NVIDIA-A100-GPUs. Mit einem dichten Modell mit 30 Milliarden Parametern und denselben Parallelisierungs-Hyperparametern meldet CoreWeave auf 128 NVIDIA-H100-GPUs 51,9 Prozent MFU, ein Plus von 28 Prozent.
- MosaicML erzielte beim Training seines 30B-MPT-Modells mit einem Kontextfenster von 2K Token auf 128 NVIDIA-H100-GPUs eine MFU von 41,85 Prozent. CoreWeave meldet für ein Modell gleicher Größe, mit gleichem Kontextfenster, gleicher Micro-Batch-Größe und gleichen Parallelisierungs-Hyperparametern 49,2 Prozent, ein Plus von 18 Prozent.
CoreWeave räumt ein, dass beim ersten Vergleich unterschiedliche GPU-Typen im Spiel sind. Die Ergebnisse seien dennoch vergleichbar, da die MFU ein Prozentwert der theoretischen FLOPs der Beschleuniger und kein absoluter Wert sei.
Das Unternehmen führte außerdem die DGX Cloud Benchmarking Recipes von NVIDIA auf seinen H100-Instanzen aus. Vorläufige Tests zeigten, dass die eigene Infrastruktur ebenso leistungsfähig sei wie NVIDIAs hochoptimiertes Referenzsystem. Bei allen getesteten Trainings- und Fine-Tuning-Workloads seien die Ergebnisse gleichauf, sowohl für BF16 als auch für FP8.
Der Technologie-Stack hinter den Zahlen
CoreWeave führt die Ergebnisse auf Optimierungen in jeder Schicht seiner Plattform zurück. Das Unternehmen nennt folgende Komponenten:
- Netzwerk mit NVIDIA Quantum InfiniBand und NVIDIA-Spectrum-Switches, das nach Angaben des Unternehmens den NCCL-Kommunikations-Overhead verringert, der die Zeit beim verteilten Training typischerweise dominiert.
- Cluster-Validierung, Health-Monitoring, proaktiver Austausch von Knoten und umfassende Observability, die laut CoreWeave eine Goodput-Rate von bis zu 96 Prozent ermöglichen.
- CoreWeave Kubernetes Service (CKS), der Kubernetes direkt auf Bare-Metal-Servern betreibt.
- CoreWeave AI Object Storage mit Datenübertragungsraten von bis zu 2 GB pro Sekunde und GPU über Hunderttausende GPUs hinweg.
- Slurm on Kubernetes (SUNK), das Slurm-basierte Workloads auf mehr als 32.000 GPUs mit topologiebewusster Planung ausführt.
- CoreWeave Tensorizer, der nach Angaben des Unternehmens asynchrones Checkpointing ermöglicht und dessen Auswirkungen auf die MFU praktisch beseitigt.
- Managed Grafana mit vorgefertigten Dashboards für InfiniBand-Bandbreite, GPU-Temperatur, Stromverbrauch und Echtzeit-Warnmeldungen.
Was das für Kunden bedeutet
Alexis Bjorlin, VP von NVIDIA DGX Cloud, sagte: „CoreWeave zeigt eine herausragende Leistung, die mit unserer NVIDIA-H100-Cloud-Referenzarchitektur gleichauf liegt.“ CoreWeave fügt hinzu, man arbeite nach dem Start der Instanzen auf Basis von NVIDIA GB200 NVL72 weiter mit NVIDIA zusammen, um die beobachtete Leistung näher an die theoretische heranzuführen.
Die Ergebnisse deckten sich mit dem Feedback anderer Kunden, die über höhere Leistung sowie bessere Ausfallsicherheit und Benutzerfreundlichkeit berichteten, so das Unternehmen. Als Kunden, die CoreWeave als KI-Cloud-Anbieter wählen, nennt es Cohere, Mistral und IBM.
Die Zahlen stammen aus eigenen Analysen und Tests von CoreWeave, den Vergleich mit der NVIDIA-Referenz bezeichnet das Unternehmen als vorläufig. Für Teams, die GPU-Cloud-Angebote vergleichen, legen die Aussagen nahe, bei Anbietern gezielt nach MFU und Goodput zu fragen.
