CoreWeave zeigt NVIDIA GB200 NVL72 live unter Last
CoreWeave hat als einer der ersten Cloud-Anbieter den NVIDIA GB200 NVL72 live vorgeführt und dabei Leistung, Kühlung und Energieverbrauch des Racks mit 72 GPUs getestet. Die Demo folgt auf Fotos der Hardware, die das Unternehmen in der Woche zuvor veröffentlicht hatte.
- CoreWeave hat als einer der ersten Cloud-Anbieter den NVIDIA GB200 NVL72, ein Rack mit 72 GPUs, live vorgeführt.
- Getestet wurden der NCCL Allreduce Test, der GPUBlaze Test und ein Megatron-Trainingslauf auf CKS und SUNK.
- Dashboards zeigten GPU-, Speicher-, Strom- und Kühlmitteltemperaturdaten in Echtzeit.
- Die Racks nutzen NVIDIA-Quantum-2-InfiniBand mit 400 Gb/s pro GPU, geplant ist Quantum-X800 mit 800 Gb/s.
- Switch ist der Rechenzentrumspartner von CoreWeave bei dem Projekt.
Benchmarks und ein Trainingslauf
Nach Angaben von CoreWeave begann die Demo mit dem NCCL Allreduce Test, einem standardisierten Benchmark, der die schnelle NVIDIA-NVLink-Verbindung zwischen den 72 GPUs des Racks zeigen soll. Der Test bestätigt dem Unternehmen zufolge, dass alle GPUs reibungslos miteinander kommunizieren. Das ist wichtig für verteilte Workloads, wie sie großen Foundation-Modellen zugrunde liegen.
Es folgte der GPUBlaze Test, bei dem die GPUs komplexe Matrixmultiplikationen ausführen. CoreWeave beschreibt diese als Nachbildung von Operationen aus dem KI-Training, aus wissenschaftlichen Simulationen und aus der fortgeschrittenen Datenverarbeitung.
Zur weiteren Validierung des Systems ließ das Unternehmen einen Megatron-Trainingsjob mit dem CoreWeave Kubernetes Service (CKS) und Slurm on Kubernetes (SUNK) laufen. Laut CoreWeave simulierte der Job die Rechen- und Speicheranforderungen großer Foundation-Modelle. Das Unternehmen erklärt, CKS und SUNK seien vollständig für den GB200 NVL72 optimiert. CKS wird als Kubernetes-Lösung ohne Hypervisor beschrieben, die auf KI-Workloads zugeschnitten ist, während SUNK sie um Burst- und Batch-Job-Scheduling erweitert.
Observability, Kühlung und Stromverbrauch
Beim Trainingslauf kamen auch die CoreWeave Observability Services zum Einsatz. Über Dashboards verfolgte das Team GPU-Auslastung, Speicher- und VRAM-Belegung, Stromverbrauch und Temperatur. Das habe laut CoreWeave Echtzeit-Einblick gegeben, wie die Hardware die Last bewältigt.
Ein zweiter Schwerpunkt war die Cooling Distribution Unit (CDU) des Racks. Laut CoreWeave passt sie die Kühlleistung dynamisch an die GPU-Aktivität an, um die Hardware ohne Leistungseinbußen im optimalen Temperaturbereich zu halten. Das CDU-Dashboard zeigte, wie die Rücklauftemperatur des Kühlmittels synchron zur Rechenlast anstieg, während ein separates Power-Dashboard live darstellte, wie der Energiebedarf mit der Leistung skaliert. CoreWeave argumentiert, diese Echtzeitüberwachung unterstreiche die Effizienz des Systems und biete Kontrolle über das Energiemanagement.
Netzwerk und Ausblick
Die GB200-NVL72-Systeme werden durch das NVIDIA-Quantum-2-InfiniBand-Netzwerk unterstützt, das laut CoreWeave über eine Rail-optimierte Topologie 400 Gb/s Bandbreite pro GPU liefert. Mit der SHARP-In-Network-Computing-Technologie von NVIDIA Quantum-2 wird die kollektive Kommunikation ausgelagert, was nach Angaben des Unternehmens zu extrem niedriger Latenz und schnellerem Training führt.
CoreWeave kündigte außerdem an, in naher Zukunft die InfiniBand-Plattform NVIDIA Quantum-X800 mit 800 Gb/s einzusetzen und damit die Bandbreite pro GPU zu verdoppeln. Dem Rechenzentrumspartner Switch dankte das Unternehmen für die Räumlichkeiten und seine Rolle im Projekt.
Was das für Kunden bedeutet
CoreWeave positioniert den GB200 NVL72 zusammen mit seinem Produktportfolio und seiner technischen Expertise als Komplettangebot für KI-Entwicklung, wissenschaftliche Forschung und große Datenworkloads. Die Quelle nennt weder Preise noch Verfügbarkeitstermine noch gemessene Leistungswerte, und die Ergebnisse der Demo stammen von CoreWeave selbst. Interessierte Kunden werden aufgefordert, das Unternehmen zu kontaktieren oder an einem kommenden Webinar teilzunehmen.
