CoreWeave erweitert Mission Control um Telemetry Relay und GPU Straggler Detection

Was CoreWeave angekündigt hat

CoreWeave bezeichnet Mission Control als den branchenweit ersten Betriebsstandard für KI im großen Maßstab, der KI-Workloads in der CoreWeave Cloud zuverlässig laufen lassen soll. Nach Angaben des Unternehmens zieht er sich durch den gesamten Stack, von der grundlegenden Infrastruktur über Observability und Sicherheit bis hin zu Agenten-Workflows.

Das jüngste Update besteht aus drei Teilen:

• Telemetry Relay, das nun in die allgemeine Verfügbarkeit geht, leitet Audit- und Observability-Signale an das SIEM oder die Monitoring-Tools eines Kunden weiter.
• GPU Straggler Detection, in der Vorschau, sucht nach Engpässen innerhalb großer verteilter Jobs.
• CoreWeave Mission Control Agent, ebenfalls in der Vorschau, liefert Telemetriedaten und Hinweise zur Fehlerbehebung über dialogbasierte Workflows.

CoreWeave verknüpft die Plattform mit seinen Orchestrierungssystemen wie SUNK (Slurm on Kubernetes). Diese hätten dazu beigetragen, dass das Unternehmen bei der zweiten Bewertung in Folge das Platinum-ClusterMAX-Rating von SemiAnalysis erhalten habe. Es sei weiterhin der einzige KI-Cloud-Anbieter mit dieser Einstufung, so CoreWeave.

Zuverlässigkeit und Transparenz

Dashboards und Skripte stießen laut CoreWeave an ihre Grenzen, sobald Teams große Modelle trainieren oder Produktivlast über Tausende GPUs bedienen. Kleine Probleme im Netzwerk-Fabric, störanfällige Knoten oder Lücken bei der Audit-Sichtbarkeit führten zu vergeudeter Rechenleistung und stundenlanger Fehlersuche.

Mission Control bewertet nach Angaben des Unternehmens fortlaufend den Zustand von GPUs, Fabric und Knoten. Das System achtet auf Signale wie steigende Raten korrigierbarer ECC-Fehler, wiederkehrende Xid-Fehler oder plötzliche Änderungen bei der Ausführungszeit kollektiver Operationen. Wird ein Schwellenwert überschritten, nimmt es Knoten aus dem Betrieb, lenkt Workloads um und stößt eine automatische Wiederherstellung an. Reicht die Automatisierung nicht aus, werden Vorfälle an CoreWeave-Experten weitergeleitet.

CoreWeave verweist auf einen Kunden, ein großes KI-Labor, das Modelle im Frontier-Maßstab trainiert. Dort hätten automatische Wiederherstellungen und die kontinuierliche Überwachung von Knoten und Fabric Probleme etwa fünf- bis sechsmal pro Tag je tausend Knoten behoben. Außerdem behauptet das Unternehmen, Mission Control ermögliche bis zu 96 % Goodput, definiert als der Anteil der GPU-Zeit, der tatsächlich auf sinnvolle Trainingsarbeit entfällt, sowie eine um 20 % höhere Modellauslastung (MFU).

Beim Thema Transparenz leitet Telemetry Relay Kubernetes-Audit-Logs, API- und Konsolenaktivitäten sowie Hardware- und Fabric-Metriken mit einer, wie CoreWeave es nennt, zuverlässigen und vorhersehbaren Zustellung weiter. Dadurch entfalle der Aufbau und Betrieb einer eigenen Export-Pipeline. Mission Control bietet zudem Grafana-Dashboards für GPUs, Cluster, Netzwerk und Storage ohne zusätzliche Einrichtung. Über eine Integration mit Weights & Biases kann die Cloud nach Angaben von CoreWeave mehr als eine Million Datenpunkte pro Sekunde in Trainings- und Experiment-Tracking einspeisen.

Langsame GPUs finden mit Straggler Detection

CoreWeave hebt sogenannte Gray Failures hervor: Fälle, in denen ein einzelner langsamer oder fehlerhafter Rank in einer kollektiven Operation den Durchsatz eines gesamten Laufs ausbremst. Sie sind schwer zu erkennen, denn von außen wirkt der Job schlicht langsamer als erwartet.

GPU Straggler Detection nutzt Signale von NCCL, um den konkreten Rank, die GPU und den Knoten zu identifizieren, die vom Rest des Jobs abweichen. Der Ausreißer fällt in Grafana auf, und Alarmmuster weisen auf die Hardware hin, die untersucht werden sollte. Die Ergebnisse lassen sich anschließend mit den Trainingsläufen in Weights & Biases abgleichen.

Ein in der Ankündigung beschriebenes Demovideo zeigt, wie ein Nutzer in Slack den Mission Control Agent fragt, warum ein Job langsam läuft. Laut CoreWeave verfolgt der Agent den Straggler durch den Observability-Stack, markiert die Engpass-GPU und den zugehörigen Knoten und antwortet im Thread mit einer kurzen Erklärung und der passenden Grafana-Ansicht.

Was das für KI-Teams bedeutet

Für Teams, die große Trainingsjobs betreiben, lautet das Versprechen: weniger manuelle Detektivarbeit. CoreWeave zufolge verkürzt Mission Control die Zyklen aus Erkennung und Reparatur und hält Training und Inferenz konstant am Laufen, von Jobs mit kleinen Batches bis zu Forschung im Frontier-Maßstab. Da Telemetry Relay bestehende SIEM- und Monitoring-Tools speist, können Security- und SRE-Teams weiter mit den Systemen arbeiten, die sie bereits kennen.

Die Leistungszahlen, darunter die Angaben zu Goodput und Auslastung, stammen von CoreWeave selbst. Straggler Detection und Agent befinden sich noch in der Vorschau, während Telemetry Relay der Teil ist, der in die allgemeine Verfügbarkeit übergeht.