CoreWeave erreicht bei MLPerf Endpoints 441.740 Token pro Sekunde mit DeepSeek-R1

Was CoreWeave gemessen hat

Nach Angaben von CoreWeave lief DeepSeek-R1 auf einem NVIDIA-GB200-NVL72-System und erreichte bei 16.384 gleichzeitigen Anfragen dauerhaft einen Systemdurchsatz von 441.740 Ausgabe-Token pro Sekunde. Der Wert von bis zu 6.496 Token pro Sekunde je GPU ist laut Fußnote des Unternehmens eine nicht verifizierte Kennzahl, die sich aus der Teilung des Systemdurchsatzes durch die GPU-Zahl von 68 ergibt. Das Ergebnis auf Systemebene wurde von der MLCommons Association verifiziert.

CoreWeave argumentiert, der Durchsatz pro GPU sei die Kennzahl, die die Wirtschaftlichkeit eines realen Inferenzdienstes am direktesten abbilde, weil sie sich auf ausgelieferte Token pro Beschleuniger und auf die Kosten pro GPU übertragen lasse. In den Fußnoten wird für das Ergebnis zudem eine Time to First Token (P95) von 5,77 Sekunden genannt.

Die Referenzkonfiguration für diese Workload sieht ein vollständiges Rack mit 18 Knoten und 72 GPUs vor. CoreWeave reichte Ergebnisse mit 17 Knoten ein und nutzte dafür 68 Blackwell-GPUs in einem GB200-NVL72-Rack. Das Unternehmen erklärt, es habe unter den Einreichungen mit NVIDIA GB200 NVL72 den führenden DeepSeek-R1-Durchsatz pro GPU erzielt.

Zum Benchmark und zum Modell

Endpoints wird als jüngster Benchmark von MLCommons beschrieben. Er soll messen, was frühere Trainings- und Inferenz-Suiten nicht erfassen: wie sich ein Inferenzdienst unter realistischer, paralleler Online-Last verhält. Statt eines einzelnen Messpunkts liefert er die vollständige Kurve von Durchsatz gegenüber Latenz im großen Maßstab, bis zu 16.384 gleichzeitigen Anfragen.

Die Suite enthält DeepSeek-R1, ein Mixture-of-Experts-Reasoning-Modell mit 671 Milliarden Parametern, das pro Antwort Tausende Token erzeugt. CoreWeave bezeichnet es als die anspruchsvollste Serving-Workload der Suite. Die eigenen Läufe lagen im Schnitt deutlich über 2.000 Token pro Anfrage.

Bei Reasoning-Modellen entscheiden laut CoreWeave zwei Kennzahlen über Nutzererlebnis und Betriebskosten: der Durchsatz pro GPU und die Zeit pro Ausgabe-Token (TPOT). Die TPOT gibt an, wie schnell eine Antwort gestreamt wird, sobald sie beginnt, und sie bestimmt bei langen Ausgaben die Gesamtlatenz. Bei maximaler Parallelität habe das Unternehmen eine der niedrigsten TPOT der Runde gehalten und dabei mehr Last pro GPU getragen.

Produktionsinfrastruktur statt Laboraufbau

CoreWeave betont, die Ergebnisse stammten nicht aus einer isolierten Umgebung, die auf einen einzigen sauberen Wert getrimmt wurde. Man habe sich an die Referenzdesigns von NVIDIA gehalten und einen üblichen Produktionscluster genutzt, mit demselben Netzwerk-Fabric, Scheduler, Speicher und derselben Orchestrierung über CoreWeave Mission Control, die auch Kunden verwenden. Einen separaten Benchmark-Cluster habe es laut Unternehmen nicht gegeben.

Das Unternehmen nennt die beteiligten Ebenen des Stacks:

• Bare-Metal-Server ermöglichen direkten GPU-Zugriff ohne Hypervisor-Schicht.
• Das Netzwerk basiert auf NVIDIA Quantum-2 InfiniBand.
• CoreWeave Kubernetes Service (CKS) ist die Basis-Laufzeitumgebung und in Mission Control integriert.
• SUNK übernimmt topologiebewusstes Scheduling, um die Kommunikation zwischen Knoten zu verringern.
• Distributed File Storage (DFS) versorgt das Laden der DeepSeek-R1-Gewichte über alle 68 GPUs.

Auf diesem Stack laufen nach Angaben von CoreWeave auch die KI-Inferenzprodukte: Serverless Inference für den tokenbasierten Zugriff auf einen kuratierten Katalog quelloffener Modelle, Dedicated Inference für eigene Gewichte mit expliziter Kontrolle über GPU und Laufzeitumgebung sowie Inference on CKS für vollständig selbst verwaltetes Serving.

Was das für Kunden bedeutet

CoreWeave versteht das Ergebnis als Orientierung für die Kapazitätsplanung: dauerhafte Leistung im stabilen Betrieb statt einer Best-Case-Spitze und die Möglichkeit, mit weniger GPUs denselben oder einen höheren Token-Output zu erreichen. Ein höherer Durchsatz pro GPU bei Spitzenparallelität bedeute zudem mehr ausgelieferte Token pro Beschleunigerstunde bei wachsendem Traffic und weniger Bedarf an zusätzlicher GPU-Reserve, um verworfene Anfragen aufzufangen.

Weil die drei Inferenzwege auf einer gemeinsamen Basis aufsetzen, könnten Teams laut Unternehmen auf allen dieselbe planbare Leistung erwarten und bei wachsenden Workloads ohne Replatforming zwischen den Wegen wechseln. Es handelt sich um Eigenangaben von CoreWeave, und der Wert pro GPU ist keine verifizierte MLPerf-Kennzahl.