CoreWeave erklärt, wie es AI Factories nach dem Start betreibt: bis zu 96 Prozent Goodput

Warum der Goodput die entscheidende Kennzahl ist

Der Beitrag argumentiert, dass sich die Frage ändert, sobald ein System vom validierten in den operativen Zustand wechselt: Es geht nicht mehr darum, ob es funktioniert, sondern ob es weiter funktioniert. Ein Cluster, der jeden Benchmark besteht, kann laut CoreWeave dennoch echte Stunden durch Unterbrechungen verlieren, etwa durch einen Checkpoint, der stillschweigend nicht gespeichert wurde.

CoreWeave definiert Goodput als den Anteil der Zeit, in dem ein System nützliche Arbeit leistet, statt sich von Unterbrechungen zu erholen. Bei lang laufenden, verteilten Trainings-Workloads habe das Unternehmen nach eigenen Angaben bis zu 96 Prozent Goodput auf NVIDIA-Hopper-GPUs demonstriert. Alles darunter sei verlorene Produktivität, so das Unternehmen.

Der Beitrag zerlegt den Goodput in zwei Variablen, Durchsatz und Resilienz, und nutzt einen Benchmark mit einem Cluster aus 1.024 NVIDIA-Hopper-GPUs, um beide getrennt zu betrachten.

• Durchsatz: CoreWeave maß auf Hopper-basierten Systemen eine um 20 Prozent höhere Model FLOPs Utilization (MFU) als andere öffentlich berichtete Benchmarks. Das Unternehmen weist darauf hin, dass die MFU von Modellarchitektur, Sequenzlänge und Parallelisierung abhängt, der Wert also seinen Testkontext widerspiegelt und kein allgemeingültiges Ergebnis ist.
• Resilienz: Die mittlere Zeit bis zum Ausfall (Mean Time to Failure) verbesserte sich um rund das Zehnfache, bei einer effektiven Trainingszeitquote von bis zu 98 Prozent.

CoreWeave führt die Verbesserungen auf Reliability-, Availability- und Serviceability-Funktionen (RAS) in der GPU-, CPU- und Rack-Architektur zurück, kombiniert mit einer eigenen Softwareschicht, die Probleme erkennt, eingrenzt und behebt. Ausfälle träten weiterhin auf, kosteten aber weniger Zeit, so das Unternehmen.

Die Softwareschicht: Mission Control und SUNK

CoreWeave Mission Control ist die Schicht, die entscheidet, was geschieht, wenn die Hardware ein Problem zeigt. Laut dem Beitrag übernimmt sie die Erkennung langsamer Nachzügler (Straggler), das automatische Leeren von Knoten (Draining), das Lifecycle-Management von Flotte und Racks sowie Wiederherstellungs-Workflows. Über alle Kundenumgebungen hinweg verarbeitet sie mehr als 200 Millionen Metrik-Samples pro Sekunde.

SUNK, das Angebot von CoreWeave für Slurm auf Kubernetes, verteilt GPUs dynamisch zwischen Trainings- und Inferenz-Workloads auf demselben Cluster um, wenn sich die Nachfrage verschiebt. So bleibt frei gewordene Kapazität zwischen Jobs nicht ungenutzt. CoreWeave bringt diese Fähigkeiten mit seinem Ergebnis im MLPerf Training v6.0 auf NVIDIA GB300 NVL72 in Verbindung: Dort habe Mission Control eine konstante Leistungsbasis gehalten, und die NVLink-Domain-bewusste Platzierung von SUNK habe die Kommunikation innerhalb der NVL72-Domain lokal gehalten.

Der Beitrag enthält ein Zitat von Craig Falls, Head of Quantitative Research bei Jane Street: "Our research depends on infrastructure that's both powerful and reliable, and CoreWeave has delivered on this as we've scaled across NVIDIA Hopper and Blackwell." Die Cluster-Observability und das Support-Team des Unternehmens gäben Jane Street zudem das Vertrauen, bei NVIDIA Vera Rubin mit CoreWeave zusammenzuarbeiten.

Resilienz über NVIDIA-Generationen hinweg

Auf der Hardwareseite führte NVIDIA Blackwell laut dem Beitrag eine dedizierte RAS-Engine ein, die KI-basierte vorausschauende Wartung über Tausende Hardware- und Software-Datenpunkte hinweg anwendet. NVIDIA Vera Rubin ergänzt eine RAS-Engine der zweiten Generation für proaktive Wartung und Echtzeit-Integritätsprüfungen ohne Ausfallzeiten. Die Vera-CPUs bringen Wartbarkeit für SOCAMM-LPDDR5X-Speicher und Kerntests im laufenden System mit.

Auf Systemebene machen modulare, kabellose Trays den Aufbau von Vera Rubin laut dem Beitrag bis zu 90-mal schneller als bei Blackwell. Softwaredefiniertes NVLink-Routing leitet den Datenverkehr um Fehler herum und sorgt so bei geringerem Wartungsaufwand für einen unterbrechungsfreien Betrieb.

Vorbereitung auf Vera Rubin NVL72

CoreWeave erklärt, im Juni 2026 als Erstes in der Branche das Bring-up und die Validierung von NVIDIA Vera Rubin NVL72 abgeschlossen zu haben. Die Idee dahinter sei, dass Kunden ein validiertes System übernehmen, statt eine neue Architektur im Produktivbetrieb zu debuggen.

Der Beitrag merkt an, dass NVIDIA pro Generation üblicherweise ein bis zwei Chips neu entwirft, die Plattform Vera Rubin hingegen jeden Chip. Sechs speziell entwickelte Chips würden zu einem einzigen Supercomputer verbunden: Vera CPU, Rubin GPU, NVLink 6 Switch, ConnectX-9 SuperNIC, BlueField-4 DPU und Spectrum-6 Ethernet Switch. Zusammen sollen sie Engpässe bei Kommunikation, Speicher und Rechenleistung beseitigen und die Kosten für Training, Post-Training, Reasoning und agentische Inferenz senken.

Vera Rubin arbeitet mit 100 Prozent Flüssigkeitskühlung, bei dieser Leistungsdichte gibt es keine luftgekühlte Option. CoreWeave hat deshalb drei Systeme entwickelt, um die Kühlung Rack für Rack zu steuern. Valvey und Racky werden als zum Patent angemeldet beschrieben und sind nur bei CoreWeave verfügbar. Valvey ist eine Ventilbaugruppe für die Flüssigkeitskühlung pro Rack, die Durchflussrate, Temperatur und Druck laufend überwacht und ein Rack bei Problemen automatisch isoliert, ohne benachbarte Racks abzuschalten. Der Rack LifeCycle Controller orchestriert Workflows über das gesamte System, und Racky ist der Steuerungspunkt pro Rack, der die Teile verbindet. Der Quelltext bricht ab, bevor Racky vollständig beschrieben wird.

Was das für Kunden bedeutet

Die zentrale Botschaft des Beitrags lautet, dass der Lebenszyklus mit jeder Hardwaregeneration gleich bleibt: gemeinsam entwerfen, vor der Bereitstellung validieren und nach dem Start mit voller Transparenz betreiben. Für Kunden, die große Trainingsjobs ausführen, lautet das Versprechen, dass mehr der bezahlten Rechenleistung in fertige Arbeit mündet. Die Zahlen stammen allerdings von CoreWeave selbst, und das Unternehmen betont, dass 96 Prozent Goodput eine Obergrenze und keine Garantie sind.