CoreWeave unterstützt torchforge: Reinforcement Learning lässt sich in der Cloud skalieren

Was torchforge leistet

Laut CoreWeave vereinfacht torchforge das Reinforcement Learning (RL), indem es das Algorithmus-Design von der verteilten Infrastruktur trennt. Dadurch ließen sich komplexe RL-Workloads mit minimalem Code auf Tausende GPUs skalieren, so das Unternehmen.

RL-Workflows verbinden kontinuierliche Inferenz und Training in einer eng gekoppelten Schleife: Das Modell generiert Antworten auf Prompts, ein Reward-Modell bewertet sie, und mit diesen Bewertungen wird das Basismodell aktualisiert. CoreWeave beschreibt es als schwierig, dies im großen Maßstab zu orchestrieren. Forschende müssten getrennte Inferenz- und Trainings-Stacks verwalten, Modelle auf GPUs und Knoten verteilen (Sharding), Ausfälle abfangen und Gewichte effizient zwischen den beiden Phasen übertragen.

torchforge implementiert GRPO, einen verbreiteten RL-Algorithmus, der die Qualität des logischen Schlussfolgerns eines Modells verbessern soll. Das Framework baut auf Monarch auf, einem PyTorch-nativen Framework für verteilte Programmierung, und nutzt RDMA für schnelle, fehlertolerante Datenübertragung. Laut CoreWeave können Forschende RL-Code fast so einfach wie Pseudocode schreiben, während das Framework Skalierung, Routing, Lastverteilung und Fehlertoleranz übernimmt.

Test mit 512 GPUs gemeinsam mit Meta und Stanford

Meta, das Scaling Intelligence Lab der Stanford University und CoreWeave führten auf einem Cluster mit 512 NVIDIA H100 GPUs ein groß angelegtes Post-Training eines dichten Coding-Modells auf dem neuesten Stand der Technik durch. Nach Angaben von CoreWeave bestätigte der Lauf Stabilität, Leistung und produktionsreife Funktionalität von torchforge im großen Maßstab.

In der Zusammenarbeit mit Stanfords Labor wurden Dutzende torchforge-Läufe auf CoreWeaves Infrastruktur ausgeführt, darunter Experimente im vollen Umfang, die alle 512 H100 GPUs nutzten.

CoreWeave bezeichnet RL als führende Post-Training-Technik, um die Modellleistung zu steigern und zugleich die Kosten für den Betrieb zu senken. Anders als beim überwachten Fine-Tuning, bei dem ein Modell Muster in annotierten Daten nachahmt, lernt RL anhand von Ergebnissen mithilfe von Feedback und Belohnungen. Laut dem Unternehmen können dadurch kleinere Modelle bei bestimmten Aufgaben mit größeren mithalten und sind dabei günstiger und schneller im Betrieb.

Warum SUNK als Scheduler dient

CoreWeave argumentiert, geteilte Forschungscluster seien schwer gut auszulasten: Multi-Node-Jobs müssten gemeinsam starten, Inferenz und Training belasteten das Netzwerk unterschiedlich, lange Generierungen und Verifier könnten Aufgaben ausbremsen, und häufige Gewichtssynchronisierungen könnten die Leistung beeinträchtigen, wenn die Netzwerktopologie nicht optimiert sei. Slurm begegne diesen Problemen mit Prioritäten, Preemption, Quoten, Gang Scheduling und topologiebewusstem Scheduling. Doch die Verwaltung von Slurm selbst werde komplex, wenn die Knotenzahl in die Tausende gehe.

SUNK verbindet das Slurm-Scheduling mit CoreWeaves verwaltetem Kubernetes-Dienst CKS. Laut dem Unternehmen unterstützt es Jobs über mehr als 32.000 GPUs, hält Slurm-Komponenten hochverfügbar, skaliert Rechenknoten bei Bedarf und ersetzt die API des Slurm-Controllers, um Hunderttausende Jobs zu bewältigen.

Für Slurm-Nutzer bleibt der Workflow vertraut. Ein torchforge-Job wird in einem Standard-Slurm-Batchskript definiert und mit sbatch oder srun gestartet. SUNK übernimmt die GPU-Zuweisung und die Skalierung der Knoten, während Kubernetes ausgefallene Komponenten neu startet. Fällt ein Knoten aus oder wird ein Dienst neu gestartet, läuft der Job laut CoreWeave dank des fehlertoleranten Controllers von Monarch und der integrierten Wiederholungslogik von torchforge weiter.

SUNK bietet außerdem Individual Login Nodes, clusterinterne Dateisysteme, Tools zum Erstellen von Container-Images und eine IdP-föderierte Zugriffsverwaltung über Automated User Provisioning.

Der CoreWeave-Stack und die nächsten Schritte

CoreWeave nennt mehrere Infrastrukturkomponenten hinter den Ergebnissen: NVIDIA Quantum InfiniBand als Netzwerk, CKS auf Bare Metal, NVIDIA DPUs, die Netzwerk- und Speicherverkehr auslagern, sowie Mission Control für Cluster-Validierung, Gesundheitsüberwachung und schnellen Knotenaustausch. Der AI Object Storage mit Local Object Transfer Accelerator (LOTA) erreicht laut Unternehmen beim Laden von Daten und beim Checkpointing über Tausende GPUs hinweg etwa 7 GB pro GPU und Sekunde. Für die Beobachtbarkeit sorgen Managed Grafana Dashboards und eine Integration mit Weights and Biases.

CoreWeave behauptet, der kombinierte Stack liefere bis zu zehnmal höhere Zuverlässigkeit, gemessen an der mittleren Zeit bis zum Ausfall (Mean Time to Failure), eine um 20 Prozent höhere Model FLOPs Utilization und 96 Prozent Goodput, den das Unternehmen als Anteil der effektiven Trainingszeit definiert.

torchforge wird auf CoreWeave nun über SUNK unterstützt, und das Unternehmen hat eine Anleitung veröffentlicht, wie man es in einem SUNK-Cluster installiert und einen einfachen RL-Job ausführt. CoreWeave bezeichnet die Arbeit mit Meta und Stanford als Beginn einer breiteren Partnerschaft. Man wolle mit Metas PyTorch-Team an Leistung, Zuverlässigkeit und Entwicklererfahrung für RL-Workloads arbeiten und die Zusammenarbeit auf weitere Teile des PyTorch-Ökosystems ausweiten.