CoreWeave erreicht im MLPerf 800 TPS auf Llama 3.1 405B mit NVIDIA GB200
CoreWeave gibt an, als erster Cloud-Anbieter MLPerf-Inference-v5.0-Ergebnisse für NVIDIA GB200 Superchips eingereicht zu haben. Mit dem Modell Llama 3.1 405B erreichte das Unternehmen 800 Token pro Sekunde (TPS). Zudem meldete es 33.000 TPS auf Llama 2 70B mit NVIDIA-H200-GPU-Instanzen.
- CoreWeave gibt an, als erster Cloud-Anbieter MLPerf-Inference-v5.0-Ergebnisse für NVIDIA GB200 Superchips eingereicht zu haben.
- Eine GB200-Instanz mit zwei Grace CPUs und vier Blackwell GPUs erreichte 800 TPS auf Llama 3.1 405B.
- H200-Instanzen kamen auf 33.000 TPS auf Llama 2 70B, laut CoreWeave 40 Prozent mehr Durchsatz als H100-Instanzen.
- Nach eigenen Angaben bot das Unternehmen als Erstes die allgemeine Verfügbarkeit von Instanzen auf Basis von NVIDIA GB200 NVL72 an.
GB200-Ergebnis auf einem der größten Open-Source-Modelle
Nach Angaben von CoreWeave setzen die MLPerf-v5.0-Ergebnisse einen neuen Branchenmaßstab bei der KI-Inferenz. Das Unternehmen nutzte eine Instanz auf Basis der NVIDIA GB200 Grace Blackwell Superchips, die zwei NVIDIA Grace CPUs und vier NVIDIA Blackwell GPUs umfasst. Mit dieser Konfiguration erzielte CoreWeave 800 TPS auf dem Modell Llama 3.1 405B, das es als eines der größten Open-Source-Modelle bezeichnet.
CoreWeave erklärt, es sei der erste Cloud-Anbieter, der MLPerf-Inference-v5.0-Ergebnisse für NVIDIA GB200 Superchips eingereicht habe. Der Wert ist laut den Fußnoten der Mitteilung unter dem MLCommons-Eintrag 5.0-0076 geführt.
Peter Salanki, Chief Technology Officer von CoreWeave, sagte, das Unternehmen sei "darauf ausgerichtet, modernste Infrastruktur bereitzustellen, die über unsere speziell entwickelte Cloud-Plattform für die Inferenz großer Modelle optimiert ist." Die Ergebnisse "stärken die Position von CoreWeave als bevorzugter Cloud-Anbieter für führende KI-Labore und Unternehmen", fügte er hinzu.
H200-Instanzen mit 40 Prozent mehr Durchsatz
CoreWeave reichte zudem neue Ergebnisse für NVIDIA-H200-GPU-Instanzen ein. Auf dem Modell Llama 2 70B erreichte das Unternehmen nach eigenen Angaben 33.000 TPS, was einer Verbesserung des Durchsatzes um 40 Prozent gegenüber NVIDIA-H100-Instanzen entspreche. Dieses Ergebnis entspricht laut der Mitteilung dem MLCommons-Eintrag 5.0-0077.
Diese Zahlen unterstrichen, so das Unternehmen, einmal mehr seine Rolle als branchenführender Anbieter von Cloud-Infrastrukturdiensten.
Erfahrung mit NVIDIA-Hardware und der Benchmark selbst
CoreWeave weist darauf hin, in diesem Jahr als Erster die allgemeine Verfügbarkeit von Instanzen auf Basis von NVIDIA GB200 NVL72 angeboten zu haben. Im vergangenen Jahr gehörte das Unternehmen zu den Ersten, die NVIDIA H100 und H200 GPUs anboten, und zu den Ersten, die NVIDIA GB200 NVL72 vorführten.
MLPerf Inference wird in der Mitteilung als Branchenstandard-Suite zur Messung der Leistung von Machine Learning in realistischen Einsatzszenarien beschrieben. Das Unternehmen betont, dass die Geschwindigkeit, mit der Systeme Eingaben verarbeiten und mit einem trainierten Modell Ergebnisse liefern, die Nutzererfahrung unmittelbar beeinflusst.
CoreWeave, das sich selbst als AI Hyperscaler bezeichnet, wurde 2017 gegründet und schloss im März 2025 den Börsengang an der Nasdaq (CRWV) ab.
Was das für Kunden bedeutet
Für Teams, die große Modelle betreiben, liefern die Ergebnisse einen standardisierten Referenzpunkt für die Inferenzgeschwindigkeit auf GB200- und H200-Cloud-Instanzen. CoreWeave präsentiert die Zahlen als Beleg dafür, dass seine Plattform für KI-Labore, Start-ups und Unternehmen geeignet ist, die große Modelle bereitstellen. Die Mitteilung nennt weder Preise noch weitere Leistungsdaten über die oben aufgeführten hinaus. Vergleiche mit anderen Anbietern müssten sich daher auf die vom Unternehmen genannten MLCommons-Einträge stützen.
