CoreWeave erläutert Neuerungen bei Kühlung, Netzwerk und Software für Vera Rubin NVL72

Erste Validierung und die Hardware dahinter

Laut CoreWeave gelang dieser Meilenstein Anfang des Monats. Im Januar hatte das Unternehmen angekündigt, zu den ersten Cloud-Anbietern zu gehören, die die NVIDIA-Vera-Rubin-Plattform einsetzen. Sie reiht sich bei CoreWeave neben die Plattformen NVIDIA Ada Lovelace, Hopper und Blackwell ein. Jede neue Generation bedeute, Stromversorgung, Kühlung, Netzwerk und Software ab dem Rack neu zu konstruieren, so das Unternehmen.

NVIDIA Vera Rubin NVL72 vereint 72 Rubin-GPUs, 36 Vera-CPUs, ConnectX-9 SuperNICs und BlueField-4 DPUs. Das System skaliert mit dem NVIDIA NVLink 6 Switch nach oben (Scale-up) und mit NVIDIA Quantum-X800 InfiniBand sowie Spectrum-X Ethernet in die Breite (Scale-out). Laut Beitrag ermöglicht es KI-Training mit einem Viertel der GPUs und KI-Inferenz zu einem Zehntel der Kosten pro Million Token im Vergleich zu NVIDIA Blackwell.

Im Beitrag kommt Craig Falls zu Wort, Head of Quantitative Research bei Jane Street. Er sagt, CoreWeave habe bei Hopper und Blackwell in puncto Leistung und Zuverlässigkeit geliefert, und das gebe dem Unternehmen die Zuversicht, bei Vera Rubin zu kooperieren. CoreWeave gibt außerdem an, dass sich heute 9 der 10 führenden Anbieter von Foundation Models auf das Unternehmen verlassen.

Softwaregesteuerte Kühlung und Rack-Steuerung

Zwei Komponenten von CoreWeave Mission Control übernehmen die physische Seite des Racks. Valvey ist eine zum Patent angemeldete, programmierbare Flüssigkühlungs-Ventileinheit pro Rack. Laut CoreWeave überwacht und steuert sie Durchflussrate, Temperatur, Druck und Leckerkennung, und jede Kühlentscheidung läuft über sie. Optimierung, Isolierung einzelner Racks für Wartungsarbeiten und Notabschaltungen erfolgen automatisch, ohne manuellen Eingriff.

Das sei vor allem dort wichtig, wo sich mehrere Racks eine entfernte CDU teilen. Valvey ermöglicht die Isolierung pro Rack, sodass ein Rack gewartet oder entleert werden kann, ohne benachbarte Racks im selben Kreislauf zu beeinträchtigen. CoreWeave argumentiert, dass sich Ausfälle so schneller eingrenzen lassen und der Goodput mit wachsender Flotte steigt.

Racky ist der Rack-Manager von Mission Control. Er sitzt oben im Rack, bündelt Sensoren für Strom, Kühlung und Umgebung und stellt der übrigen CoreWeave-Infrastruktur eine einheitliche Verwaltungsschnittstelle bereit. Zusammen mit Valvey und dem Rack LifeCycle Controller (RLCC) bildet er den Steuerungsstack auf Rack-Ebene: Valvey führt Kühlaktionen aus, RLCC orchestriert Workflows, und Racky ist die zentrale Steuerstelle pro Rack. Nach Angaben von CoreWeave kann das Unternehmen so jedes Vera-Rubin-Rack als verwaltete Cloud-Ressource behandeln statt als individuelle Einzelinstallation.

Netzwerk: flüssiggekühltes Ethernet und die Wahl zwischen zwei Fabrics

CoreWeave zufolge gehört es zu den ersten Cloud-Anbietern, die den zu 100 Prozent flüssiggekühlten NVIDIA Spectrum-X SN6600 Ethernet Switch einsetzen. Der Switch bietet eine Gesamtvermittlungskapazität von 102,4 Tb/s über 128 Ports mit bis zu 800 Gb/s und basiert auf NVIDIAs Spectrum-6-Architektur. Er dient als Scale-out-Fabric, die einzelne NVL72-Racks zu einem Cluster verbindet. CoreWeave kombiniert ihn mit Racky und Valvey, um Strom und Kühlung rund um den Switch zu steuern.

Kunden können zwischen NVIDIA Quantum-X800 InfiniBand und Spectrum-X Ethernet mit RDMA over Converged Ethernet (RoCE) wählen. Beide sind vollständig non-blocking und stellen Workloads in Kubernetes oder SUNK dieselbe RDMA-Geräteschnittstelle bereit, sodass die Nutzererfahrung einheitlich bleibt. InfiniBand bleibt bei den meisten Deployments die Standardwahl, während Kunden mit größeren Anforderungen RoCE bevorzugen könnten.

Für RoCE baut CoreWeave eine Multi-Rail- und Multi-Plane-Fabric. Jede GPU wird von einem ConnectX-9-Modul mit bis zu 800 Gb/s pro Port versorgt, was 1,6 Tb/s Backend-Bandbreite pro GPU ergibt. Die Topologie skaliert durch zusätzliche Spine-Switches pro Plane und unterstützt laut Unternehmen Konfigurationen mit mehr als 120.000 GPUs.

Storage und Orchestrierung: Was das für Kunden bedeutet

Auf der Softwareseite bündelt CoreWeave nach eigenen Angaben Scheduling, Kapazitätsmanagement und Observability in einer einzigen Betriebsebene. CoreWeave AI Object Storage unterstützt den Local Object Transport Accelerator (LOTA), eine rack-lokale Beschleunigungsschicht zwischen entferntem Objektspeicher und der GPU-Fabric. Indem LOTA Trainingsdaten innerhalb des Clusters vorhält, sollen I/O-Engpässe entfallen, durch die GPUs auf Daten warten müssen.

Der CoreWeave Kubernetes Service (CKS) nutzt topologiebewusste Orchestrierung, um Workloads wenn möglich innerhalb von NVLink-Domänen mit hoher Bandbreite zu platzieren. Das minimiere die Kommunikation über Fabric-Grenzen hinweg und maximiere die Leistung verteilter KI-Workloads, so das Unternehmen.

Für Kunden lautet das Versprechen: weniger Betriebsaufwand. CoreWeave nennt als Ziel eine höhere MFU, mehr Goodput und eine längere MTTF, damit sich Teams auf den Bau von Modellen konzentrieren können, statt Infrastruktur zu verwalten. Preise oder Termine für die allgemeine Verfügbarkeit nennt der Beitrag nicht.