CoreWeave setzt flüssigkeitsgekühlten 102,4-Tb/s-Switch für Vera Rubin NVL72 ein

Ein flüssigkeitsgekühlter Switch für Vera Rubin NVL72

CoreWeave argumentiert, Netzwerke seien zu einem strategischen Bestandteil der KI-Cloud-Infrastruktur geworden, weil sie bestimmen, wie gut sich GPU-Rechenleistung in Goodput für Training und Inferenz übersetzt. Da Flüssigkeitskühlung es Rack-Scale-Systemen wie NVIDIA Vera Rubin NVL72 ermögliche, Exaflops an Rechenleistung zu liefern, müsse das Netzwerk Schritt halten, so das Unternehmen. Deshalb setzten nun auch Switches auf dieselbe Kühltechnik.

Der SN6600-LD basiert auf dem NVIDIA Spectrum-6 ASIC und ist vollständig flüssigkeitsgekühlt. Laut CoreWeave bietet er 102,4 Tb/s Switching-Kapazität über 64 Ports mit je 1,6 Tb/s auf Basis von 200G-SerDes. Das verdoppelt die Bandbreite pro Lane gegenüber der Vorgängergeneration, und zwar in einem kompakten 2U-Formfaktor. In einem Standard-Rack mit 48 Höheneinheiten lassen sich 16 dieser Switches unterbringen, was eine Gesamtkapazität von 1,64 Pb/s ergibt.

CoreWeave zufolge kann das Unternehmen damit eine vollständig blockierungsfreie Multi-Plane-, Multi-Rail-Spine-and-Leaf-Fabric anbieten, die Vera-Rubin-NVL72-GPUs ohne Oversubscription verbindet. Beim Training großer Modelle bedeute das nach Angaben des Unternehmens eine höhere Model FLOPS Utilization (MFU), geringere Netzwerklatenz und GPU-Leerlaufzeiten nahe null. Für die Inferenz verweist CoreWeave auf durchgehend niedrige Latenz, schnellere Antwortzeiten und höheren Durchsatz.

Drei messbare Vorteile gegenüber Luftkühlung

CoreWeave vergleicht den flüssigkeitsgekühlten SN6600-LD auf Spectrum-6-Basis mit dem luftgekühlten SN5600/SN5610 auf Spectrum-4-Basis in einer Topologie, die 16.000 Vera-Rubin-GPUs verbindet. Das Unternehmen nennt drei Vorteile:

• 100 % mehr Switching-Leistung pro Rack. Der SN5600/SN5610 bietet 51,2 Tb/s über 64 Ports mit je 800 Gb/s auf 100-Gb-SerDes. Der SN6600-LD liefert 102,4 Tb/s über 64 Ports mit je 1,6 Tb/s auf 200-Gb-SerDes, im gleichen Formfaktor.
• 62,5 % weniger Rack- und Stellfläche für 16.000 Vera-Rubin-GPUs. Das bedeute laut Unternehmen mehr GPU-Dichte pro Quadratmeter und mehr Spielraum für den Ausbau von Clustern bei begrenzter Rechenzentrumsfläche.
• 30 % bessere Energieeffizienz gegenüber dem SN5600/SN5610 für dieselben 16.000 GPUs. CoreWeave zufolge senken die eingesparten Megawatt die Kosten, vereinfachen den Betrieb und schaffen Leistungsreserven für eine höhere GPU-Dichte.

Der geringere Verbrauch an Strom, Platz und Material pro Recheneinheit senke zudem den CO₂-Fußabdruck pro bereitgestellter KI-Rechenleistung, so das Unternehmen. Flüssigkeitsgekühltes Switching sei daher bei wachsenden Clustern sowohl ein Leistungs- als auch ein Nachhaltigkeitsvorteil.

Eine Management-Domäne für Compute und Netzwerk

CoreWeave dehnt seine bestehenden Werkzeuge für das Rack-Management auf das Switch-Rack aus. Valvey, die zum Patent angemeldete programmierbare Flüssigkeitskühlungs-Ventileinheit pro Rack, überwacht und steuert Durchflussmenge, Temperatur, Druck und Leckerkennung. Sie deckt nun auch das NVIDIA Spectrum-6 SPX Switch-Rack ab und bindet das Netzwerk in denselben Wärmemanagement-Kreislauf ein wie Vera Rubin NVL72.

Racky, der Rack-Control-Manager, bündelt Sensoren für Strom, Kühlung und Umgebung in einer Oberfläche und liefert Telemetriedaten wie Leckerkennung, Durchflussraten und Temperatur. Der Rack Lifecycle Controller (RLCC) behandelt ein gesamtes Rack samt GPUs, Netzwerk, Strom und Kühlung als eine einzige programmierbare Ressource und orchestriert Firmware, Konfiguration, Zustandsüberwachung und Wiederherstellung.

Laut CoreWeave erhalten Kunden eine einheitliche Steuerungsoberfläche, eine Observability-Ebene und ein Kapazitätsmodell für Compute und Netzwerk-Fabric. Diese einheitliche Telemetrie helfe außerdem CoreWeave ARIA, einem in Weights & Biases integrierten Recherche- und Iterationsagenten, Forschenden bei der Iteration an einem Modell sauberere Antworten zu liefern.

Was das für KI-Kunden bedeutet

Für Kunden, die Modelle mit Billionen Parametern, agentische Systeme oder Reinforcement-Learning-Pipelines betreiben und nach Angaben von CoreWeave auf schnelle GPU-zu-GPU-Kommunikation mit niedriger Latenz angewiesen sind, lautet das Versprechen: ein Netzwerk, das die Möglichkeiten der Beschleuniger nicht begrenzt. Die Zahlen stammen von CoreWeave selbst und beziehen sich auf den Vergleich mit 16.000 GPUs.

Das Unternehmen beschreibt den übergreifenden Trend als Verschmelzung von Compute, Netzwerk und Kühlung zu einer einzigen softwaredefinierten Infrastrukturschicht. Dieses Modell betreibe man bereits von NVIDIA GB200 NVL72 und GB300 NVL72 bis hin zu Vera Rubin NVL72 und dem SN6600-LD.