CoreWeave erhält NVIDIA-Exemplar-Cloud-Status für Inferenz auf GB200 NVL72

Was die Validierung umfasst

NVIDIA hat das Exemplar-Cloud-Programm 2025 als einheitlichen Benchmark-Standard eingeführt, mit dem Cloud-Anbieter die Leistung ihrer Infrastruktur validieren können. Laut CoreWeave durchläuft jeder teilnehmende Anbieter eine umfassende Prüfung, die den Anforderungen von Kunden mit komplexen und anspruchsvollen KI-Workloads entsprechen soll.

Um sich zu qualifizieren, muss ein Anbieter hohe Leistung und Ausfallsicherheit über eine Reihe offener, workload-spezifischer Benchmark-Rezepte hinweg nachweisen. Diese decken Inferenz, Fine-Tuning und skaliertes Pretraining ab. Das Ergebnis ist ein Leistungsvergleich, der für alle nach denselben Kriterien validiert wurde.

Die Inferenz-Validierung folgt auf einen früheren Meilenstein: CoreWeave gehörte nach eigenen Angaben auch zu den ersten Cloud-Anbietern, die den Status NVIDIA Exemplar Cloud for Training auf NVIDIA GB200 NVL72 erreicht haben. Beide Validierungen zusammen zeigten, so das Unternehmen, dass die Plattform Modelle sowohl trainieren als auch im Produktivbetrieb effizient und zuverlässig bereitstellen könne.

So liefen die Inferenz-Tests ab

Die Inferenz-Benchmarks von NVIDIA nutzen die Modelle DeepSeek-R1, Llama 3.3 und GPT-OSS in Single-Node- und Multi-Node-Konfigurationen. Gemessen werden Durchsatz und Latenz für gängige agentische Anwendungsfälle. NVIDIA legte die Anzahl der GB200-NVL72-GPUs und das Backend fest, entweder TRT-LLM oder SGLANG. Beim Multi-Node-Durchsatztest kam zusätzlich NVIDIA Dynamo zum Einsatz.

Jedes Szenario umfasste fünf Inferenzphasen, in Klammern jeweils die Länge des Eingabe- und Ausgabekontexts:

• Reasoning (1k/1k): lange Prompts und Antworten, die Chain-of-Thought-Verarbeitung widerspiegeln.
• Chat (128/128): Reaktionsfähigkeit interaktiver Anwendungen, mit Fokus auf extrem niedrige Latenz und hohe Nutzerparallelität.
• Summarization (8k/512): die benötigte I/O- und Speicherbandbreite, um große Prompts aufzunehmen und daraus eine knappe Ausgabe zu erzeugen.
• Generation (512/8k): Durchsatz und Effizienz bei der Erzeugung großer Mengen fortlaufender Tokens.
• Disaggregation (8k/1k über Nodes hinweg): Effizienz, wenn Prompt-Verarbeitung und Token-Generierung auf unterschiedlichen GPU-Nodes laufen.

Der Durchsatz wurde in Tokens pro Sekunde und GPU (TPS/GPU) gemessen, die Latenz als Time-to-First-Token (TTFT) in Millisekunden. Die Durchsatztests liefen mit DeepSeek-R1, Llama 3.3 und GPT-OSS auf einzelnen Nodes mit ein bis vier NVIDIA-Blackwell-GPUs sowie in Multi-Node-Setups mit NVIDIA Dynamo und 32 NVIDIA-Blackwell-GPUs. Die Latenztests nutzten DeepSeek-R1 und Llama 3.3 auf einzelnen Nodes mit vier GPUs. CoreWeave zufolge wurde in beiden Testarten jedes Szenario über alle fünf Phasen hinweg erfüllt oder übertroffen.

Die Latenz betont das Unternehmen, weil bei agentischer KI eine einzelne Nutzeranfrage nach seinen Worten zehn aufeinanderfolgende Modellaufrufe auslösen kann, wodurch die Reaktionsfähigkeit zur zentralen Einschränkung wird.

Der Stack hinter den Ergebnissen

CoreWeave führt die Ergebnisse auf einen vertikal integrierten Stack aus Compute, Storage, Netzwerk und Orchestrierung zurück. Man habe GB200 NVL72 mit Hochbandbreiten-Netzwerk und optimierten Speicherarchitekturen kombiniert, um Engpässe zu beseitigen, die in allgemeinen Cloud-Umgebungen üblich seien.

CoreWeave Mission Control diente während der Tests als zentrales Dashboard, mit Observability von Hardware-Telemetrie wie GPU-Temperatur und NVLink-Bandbreite bis zu Anwendungsmetriken wie der Time-to-First-Token. Das Team setzte außerdem CoreWeave GPU Straggler Detection ein, eine kürzlich eingeführte Funktion von Mission Control. Laut CoreWeave liefert sie Echtzeit-Kollektivmetriken wie die Bus-Bandbreite, erkennt Hardware-Hänger automatisch und lokalisiert deren Ursache.

Auf der Serving-Seite verweist das Unternehmen auf optimierte Laufzeitumgebungen und Scheduling mit integriertem Batching, Request-Routing und GPU-Auslastung. Zudem verkürzten der leistungsstarke Objektspeicher und schnelle Provisionierungs-Pipelines die Ladezeiten von Modellen erheblich, was Time-to-First-Token und Skalierungsreaktion verbessere.

Was das für Kunden bedeutet

Der gemeinsame Benchmark bietet Kunden laut CoreWeave eine planbare KI-Workload-Leistung, die in gemeinsamen Tests mit NVIDIA validiert wurde, Vertrauen in einen gemeinsam entwickelten und abgestimmten Stack sowie objektive Daten für die Wahl einer Cloud, die auf Messungen der Anwendungsleistung statt auf Herstellerversprechen beruhen.

Für Teams, die Anbieter für produktive Inferenz vergleichen, liefert die Validierung einen einheitlichen Maßstab für Reasoning-, Chat-, Summarization-, Generation- und disaggregierte Workloads. Die zugrunde liegenden Durchsatz- oder Latenzwerte veröffentlicht die Quelle im vorliegenden Text nicht. Die Aussage, CoreWeave habe die Vorgaben erfüllt oder übertroffen, stützt sich daher auf die eigene Darstellung des Unternehmens.