CoreWeave verdoppelt DeepSeek-R1-Serverdurchsatz auf GB300 NVL72 in MLPerf 6.0

GB300-NVL72-Ergebnisse: doppelt so schnell im Server-Modus, 1,6-fach offline

Laut CoreWeave zeigt die Einreichung für MLPerf 6.0 mit NVIDIA-GB300-NVL72-Systemen deutliche Fortschritte gegenüber der Runde MLPerf 5.1. Mit DeepSeek R1 (671B, NVFP4) habe sich der Durchsatz in den vergangenen sechs Monaten im Offline-Modus um das 1,6-Fache und im Server-Modus um das Doppelte erhöht, so das Unternehmen.

Für das GB300 NVL72 nennt CoreWeave 5.574 Token pro Sekunde und GPU im Server-Modus sowie 9.821 im Offline-Modus. Das Offline-Ergebnis sei das höchste aller Einreicher für DeepSeek R1 gewesen.

Außerdem testete das Unternehmen GPT-OSS-120B auf dem GB300 NVL72 und meldet 14.946 Token pro Sekunde und GPU im Server-Modus sowie 14.226 im Offline-Modus. Nach Angaben von CoreWeave ergab das bis zu 28 Prozent mehr Durchsatz als beim NVIDIA GB200 NVL72. Bei der Verbesserung gegenüber dem GB200 NVL72 habe man alle Einreicher angeführt.

GB300 gegenüber GB200 und weiterhin Spitze beim GB200

CoreWeave beschreibt das NVIDIA GB300 NVL72 als Rack-System für KI-Reasoning mit 1,5-mal mehr dichten NVFP4-Tensor-Core-FLOPS und doppelt so hoher Attention-Leistung wie NVIDIA-Blackwell-GPUs. Es basiert auf derselben Architektur wie das GB200 NVL72, bietet aber mehr Speicher und weitere Verbesserungen, so das Unternehmen.

In den DeepSeek-R1-Läufen meldet CoreWeave gegenüber dem GB200 eine Verbesserung von 14 Prozent im Server-Modus und von 34 Prozent im Offline-Modus.

Auf dem GB200 NVL72 gibt CoreWeave für DeepSeek R1 4.868 Token pro Sekunde und GPU im Server-Modus sowie 7.323 im Offline-Modus an. Diese Ergebnisse hätten in beiden Modi alle Einreicher angeführt. Das Unternehmen weist außerdem darauf hin, der erste KI-native Cloud-Anbieter gewesen zu sein, der das GB200 NVL72 im Produktivbetrieb in großem Maßstab angeboten hat, und in MLPerf 5.0 beim GB200-NVL72-Benchmark vorn gelegen zu haben.

Die Fußnoten liefern weiteren Kontext. Die Kennzahl Token pro Sekunde und GPU ist keine offizielle MLPerf-Metrik. CoreWeave nutzt sie, um Einreichungen mit unterschiedlicher GPU-Anzahl vergleichbar zu machen. Der GB200-Knoten von CoreWeave verwendete 64 GPUs, die Knoten anderer Einreicher 72.

Von Benchmarks zu Inferenzprodukten

CoreWeave verknüpft die Ergebnisse mit seinem Inferenzangebot, das es als Weg von vollständig verwalteter bis zu vollständig selbst verwalteter Infrastruktur beschreibt.

• Serverless Inference über Weights & Biases (W&B) Inference bietet Autoscaling, Hochverfügbarkeit und integrierte Observability bei Abrechnung pro Token.
• Dedicated Inference, kürzlich angekündigt und derzeit in der Preview, erlaubt es Kunden, eigene Gewichte mitzubringen sowie GPUs und offene Runtimes zu wählen, während CoreWeave den Produktivbetrieb und die Kostentransparenz übernimmt. Teams können Zugang zur Preview anfragen.
• Inference on CKS (CoreWeave Kubernetes Service) ermöglicht Entwicklern, ihre Modelle, Runtimes und Orchestrierung selbst zu hosten, mit Kontrolle über Tuning und Observability.

Laut Unternehmen teilen diese Wege eine einheitliche Architekturbasis, sodass Teams von der Iteration in die skalierte Produktion wechseln können, ohne die Plattform zu wechseln.

Was das für Kunden bedeutet

Die Ergebnisse stammen von CoreWeave selbst und beruhen auf der eigenen Normalisierung pro GPU, Vergleiche sollten daher mit dieser Einschränkung gelesen werden. Für Teams, die Reasoning-Modelle wie DeepSeek R1 betreiben, lautet die Botschaft des Unternehmens: Der Durchsatz auf GB300-NVL72-Systemen sei in sechs Monaten deutlich gestiegen, und das GB300 bringe in den eigenen Tests messbare Vorteile gegenüber dem GB200. Zu seinen Kunden zählt CoreWeave nach eigenen Angaben Cursor AI, Cline, Mercado Libre und 8 der 10 führenden Anbieter von Foundation Models.