CoreWeave, NVIDIA und IBM stellen MLPerf-Rekord mit Blackwell-Cluster aus 2.496 GPUs auf

Die bisher größte Blackwell-Einreichung

Der gemeinsame Eintrag lief auf 2.496 NVIDIA-Blackwell-GPUs, verteilt auf 39 Racks mit jeweils 64 aktiven GPUs, gehostet auf der Infrastruktur von CoreWeave. Laut CoreWeave war er mehr als 34-mal größer als die einzige andere Einreichung mit GB200 Grace Blackwell eines Cloud-Anbieters, ein einzelnes Rack mit 72 GPUs. Zudem war er 4,8-mal größer als der nächstgrößere Eintrag, NVIDIAs eigene Einreichung mit 512 Blackwell-GPUs.

CoreWeave zufolge entspricht die Einreichung in ihrer Rechenleistung mehr als 5.000 NVIDIA-H100-GPUs. Diese Angabe unterstellt eine Beschleunigung des Trainings um den Faktor 2,15 beim Benchmark Llama 3.1 405B gegenüber der schnellsten H100-Einreichung. Es ist der größte Trainings-Benchmark, den CoreWeave bislang geliefert hat, noch vor der früheren MLPerf-Training-v3.1-Einreichung mit 3.584 H100-GPUs.

Der Lauf fand auf dem Cluster Carina statt, den CoreWeave für IBM gebaut und geliefert hat, mit technischem Know-how von NVIDIA für das Benchmarking. CoreWeave bezeichnet Carina als derzeit einen der größten betriebsbereiten Blackwell-Cluster der Welt.

Ergebnisse bei Llama 3.1 405B

MLPerf ist eine von MLCommons entwickelte Benchmark-Suite, die misst, wie schnell ein System führende Open-Source-Modelle bis zu einem definierten Qualitätsziel trainieren kann. In Version 5.0 hat MLCommons Metas Llama 3.1 405B aufgenommen, das die Quelle als größtes und komplexestes Foundation-Modell der Suite beschreibt.

CoreWeave nennt für Llama 3.1 405B auf seinen Blackwell-Konfigurationen folgende Zeiten:

• 2.496 GPUs: 27,33 Minuten, 2,1-mal schneller als NVIDIAs größere Einreichung mit 2.560 H100-GPUs
• 2.048 GPUs: 32,6 Minuten, 2,15-mal schneller als NVIDIAs Einreichung mit 2.048 H100-GPUs
• 1.536 GPUs: 42,46 Minuten, 2,85-mal schneller als CoreWeaves eigene Einreichung mit 512 Blackwell-GPUs
• 1.024 GPUs: 62,1 Minuten, 2-mal schneller als die beste Einreichung mit 1.024 H200-GPUs
• 512 GPUs: 121,1 Minuten, 2-mal schneller als die beste Einreichung mit 512 H200-GPUs

Nach Angaben des Unternehmens erzielte der Cluster beim Vergleich ähnlich großer Cluster in fünf Konfigurationen die schnellsten Trainingszeiten. Die größte Einreichung erreichte von 512 auf 2.496 GPUs eine Skalierungseffizienz von 91 %. CoreWeave erwartet zudem weitere Zugewinne durch laufende Optimierungen auf Software- und Systemebene.

Dichte, Software und frühere Rekorde

CoreWeave hebt die Platzersparnis des Systems GB200 NVL72 hervor. Der Lauf mit 2.496 GPUs benötigte 39 Racks, während ein gleichwertiges H100-Setup bei vergleichbarer Leistung und 32 GPUs pro Rack rund 156 Racks gebraucht hätte. Das Unternehmen spricht von einer vierfach geringeren physischen Fläche und verweist auf Energieeinsparungen durch Konfigurationen mit höherer Dichte.

Bei der Software sorgen nach Angaben des Unternehmens der CoreWeave Kubernetes Service und Mission Control für tiefe Observability, Performance-Isolation auf Bare-Metal-Ebene und proaktives Infrastrukturmanagement und halten so bei großskaligem Training einen Goodput von bis zu 96 %. Die Benchmarks liefen auf SUNK, der Slurm-on-Kubernetes-Lösung des Unternehmens, die Jobs innerhalb von GB200-NVL72-Systemen über NVIDIA NVLink für Effizienz auf Rack-Ebene einplant.

Das Unternehmen erinnerte außerdem an frühere Ergebnisse. In MLPerf Inference v5.0 reichte es als erster Cloud-Anbieter mit GB200 Grace Blackwell Superchips ein und erreichte bei Llama 3.1 405B über 200 Token pro Sekunde und Chip, ein Plus von 2,86 pro Chip gegenüber NVIDIA-H200-GPUs. In MLPerf Training v3.0 absolvierte es den Benchmark GPT-3 175B mit mehr als 3.500 H100-GPUs in unter 11 Minuten.

Was das für Kunden bedeutet

CoreWeave präsentiert die Ergebnisse als Beleg für Kunden, die auf seiner Plattform KI-Anwendungen entwickeln, feintunen oder betreiben. Die Zahlen sind Eigenangaben des Unternehmens, allerdings heißt es in der Quelle, die MLCommons Association habe die Ergebnisse verifiziert. Für IBM zeigt der Lauf, dass ein großer Blackwell-Cluster zuverlässig arbeitet; CoreWeave zufolge bewältigte er mehrere Trainingsläufe mit über 1.000 GPUs. Wer Infrastruktur evaluiert, kann die Zahlen als Vergleich von Geschwindigkeit, Skalierung und Rack-Dichte zwischen den Generationen Blackwell und Hopper lesen.