CoreWeave meldet 6,5-fach bessere DeepSeek-R1-Inferenz auf NVIDIA GB300 NVL72

So hat CoreWeave den Benchmark durchgeführt

CoreWeave hat das Reasoning-Modell DeepSeek R1 in einem direkten Vergleich getestet. Auf der einen Seite stand ein NVIDIA-H100-System mit 16 GPUs. Auf der anderen Seite kamen nur vier GPUs der neuen NVIDIA-GB300-NVL72-Infrastruktur zum Einsatz.

Laut CoreWeave erlaubten die Speicher- und Interconnect-Bandbreite des GB300, das Modell mit 4-fachem Tensor Parallelism (TP4) auszuführen. Beim H100-Aufbau war 16-faches Tensor Parallelism (TP16) nötig. Das Unternehmen gibt an, dass dadurch der Kommunikations-Overhead deutlich sank und der GB300 pro GPU einen mehr als 6-fach höheren Rohdurchsatz erreichte. Als Kernwert für die Inferenz von DeepSeek R1 nennt es eine Verbesserung um das 6,5-Fache.

Es handelt sich um von CoreWeave selbst veröffentlichte Ergebnisse. Eine unabhängige Überprüfung beschreibt der Beitrag nicht.

Warum Reasoning-Modelle die Inferenz fordern

CoreWeave ordnet den Test in den Branchentrend weg von einfachen generativen Modellen hin zu Reasoning-Modellen ein. Modelle wie DeepSeek R1 können komplexe, mehrstufige Aufgaben erledigen, Daten analysieren und als autonome Agenten handeln. Diese Fähigkeit, so das Unternehmen, geht bei der Inferenz mit einem hohen Rechenaufwand einher.

Die Chain-of-Thought-Prozesse hinter diesem Verhalten benötigen viele iterative Schritte und reagieren daher sehr empfindlich auf Latenz. CoreWeave zufolge kann ein langsames Erlebnis mit hoher Latenz einen KI-Agenten unbrauchbar wirken lassen. Geringerer Kommunikations-Overhead ermögliche es, diese Prozesse in einem Bruchteil der Zeit auszuführen. Damit würden aus Sicht des Unternehmens KI-Agenten in Echtzeit und anspruchsvolle Reasoning-Anwendungen praktikabel.

Was im GB300 NVL72 steckt

Der GB300 NVL72 ist ein Rack-Scale-System für KI-Modelle an der Leistungsspitze. CoreWeave hebt drei Elemente hervor:

• Speicher: 37 TB Gesamtspeicher, mit dem Kunden laut Unternehmen größere und komplexere Modelle bewältigen können.
• Interconnect: NVIDIA NVLink der fünften Generation mit 130 TB/s Bandbreite für die 72 miteinander verbundenen NVIDIA-Blackwell-Ultra-GPUs.
• Netzwerk: NVIDIA Quantum-X800 InfiniBand als Scale-out-Compute-Fabric im gesamten Cluster.

Die Softwareschicht in der CoreWeave-Cloud

CoreWeave betont, dass allein die Hardware das Ergebnis nicht liefere. Das Unternehmen beschreibt mehrere Bestandteile seiner Plattform, die die Instanzen unterstützen:

• Ein proprietärer Rack LifeCycle Controller, der Integritätsprüfung, Firmware-Bereitstellung und System-Imaging automatisiert und Komponenten von Compute-Trays bis zu NVLink-Switches abdeckt.
• Integration mit Kubernetes (CKS) und Slurm on Kubernetes (SUNK) sowie ein topologiebewusster Scheduler. Mithilfe von NVLink-Labels und einem eigenen Block-Plugin plant die Control Plane Workloads möglichst innerhalb derselben NVL72-Domäne ein, sodass Jobs nicht über mehrere Racks verstreut werden.
• Verwaltete Grafana-Dashboards zur Echtzeitüberwachung von GPU-Auslastung, NVLink-Traffic und Rack-Verfügbarkeit.

Was das für Kunden bedeutet

CoreWeave zufolge führen die Verbesserungen zu schnellerem Training größerer Modelle, mehr Inferenzdurchsatz und Reaktionsfähigkeit bei gleichem Budget sowie zu einer Plattform, die auch im Frontier-Maßstab zuverlässig arbeitet. Der Beitrag verweist auf geringere Gesamtbetriebskosten, nennt aber keine Preise oder Kostenzahlen.

Für Unternehmen, die Infrastruktur für Reasoning-Workloads evaluieren, ist die behauptete Reduzierung der nötigen Parallelisierung die wichtigste Erkenntnis: In diesem Test leisteten vier GB300-GPUs die Arbeit eines H100-Aufbaus mit 16 GPUs. Interessierte Kunden sollen sich wegen der GB300-NVL72-Instanzen an das Unternehmen wenden. Angaben zu Verfügbarkeit und Preisen enthält die Ankündigung nicht.