CoreWeave nimmt erstes NVIDIA GB300 NVL72 im Rack-Scale-System von Dell in Betrieb

Was CoreWeave in Betrieb genommen hat

CoreWeave beschreibt das NVIDIA GB300 NVL72 als flüssigkeitsgekühlte Rack-Scale-Plattform für anspruchsvolle KI-Reasoning-Workloads. Laut Unternehmen vereint jedes System 72 NVIDIA Blackwell Ultra GPUs, 36 Arm-basierte NVIDIA Grace CPUs und 18 NVIDIA BlueField-3 DPUs in einer einzigen Plattform.

Der Einsatz setzt ein Muster fort, auf das CoreWeave in der eigenen Firmengeschichte verweist. Das Unternehmen gibt an, als erster KI-Cloudanbieter Zugang zum NVIDIA HGX H100 System, zur NVIDIA H200 und zum NVIDIA GB200 NVL72 geboten zu haben. Das GB300 NVL72 ist in Dells integriertem Rack-Scale-System untergebracht. CoreWeave nennt Dell Technologies, Switch und Vertiv als Partner dieses Einsatzes.

Leistungsangaben und Hardware-Details

CoreWeave zufolge liefert das GB300 NVL72 im Vergleich zur Vorgängergeneration, der NVIDIA-Hopper-Architektur, bis zu zehnmal mehr Reaktionsfähigkeit für Nutzer und fünfmal mehr Durchsatz pro Watt. In der Summe ergebe das eine 50-fach höhere Ausgabe bei der Inferenz von Reasoning-Modellen. Zudem nennt das Unternehmen eine 1,5-mal höhere FP4-Leistung (dense) und eine doppelt so hohe Geschwindigkeit bei NVIDIA Quantum-X800 InfiniBand.

Das Unternehmen führt folgende Plattformmerkmale auf:

• Blackwell Ultra GPUs: 1,5-mal mehr KI-Rechenleistung in FLOPS als Blackwell GPUs.
• HBM3e-Speicher: bis zu 21 TB schneller GPU-Speicher pro Rack. Das ist laut CoreWeave 1,5-mal mehr als beim GB200 NVL72 und ermöglicht größere Batch-Größen und größere Modelle.
• NVLink der fünften Generation: 130 TB/s aggregierte Bandbreite zwischen den GPUs im System.
• InfiniBand-Netzwerk: NVIDIA Quantum-X800 Switches und ConnectX-8 SuperNICs bieten jeder GPU 800 Gigabit pro Sekunde an dedizierter Anbindung.
• Mandantenfähiges Netzwerk: NVIDIA DOCA auf BlueField-3 sorgt für Tenant-Networking mit Leitungsgeschwindigkeit von bis zu 200 Gb/s und für leistungsstarken GPU-Datenzugriff.

CoreWeave sagt, das System sei für Inferenz mit Test-Time Scaling ausgelegt. Zum Vergleich verweist das Unternehmen darauf, dass seine auf GB200 basierenden Instanzen eine 2,86-mal bessere Inferenzleistung pro GPU erzielt hätten als Instanzen auf Basis der H100. Diesen Erfolg führt es auf seinen Fokus auf KI-Workloads zurück.

Neuerungen bei Software und Observability

CoreWeave gibt an, seinen Cloud-Stack für die neue Hardware optimiert zu haben, darunter den Kubernetes-Dienst CKS, das Angebot Slurm on Kubernetes (SUNK), die Observability-Werkzeuge und den eigens entwickelten Rack LifeCycle Controller (RLCC).

Neu mit diesem Start sind das Cabinet Wrangler und das Cabinet Details Dashboard, die Einblicke auf Rack-Ebene liefern. Daten auf Hardware-Ebene und Ereignisse zum Zustand des Clusters werden nun direkt über Weights & Biases Models gestreamt. Laut CoreWeave können KI-Forscher so Infrastrukturprobleme mit ihren Trainingsläufen abgleichen und Störungen schneller beheben.

In der Ankündigung kommt Moonvalley, ein Unternehmen für generativen Film, zu Wort. Mitgründer und CEO Naeem Talukdar sagte, CoreWeaves Fähigkeit, das System "schnell über seine KI-Cloud-Plattform auf den Markt zu bringen", sei "ein wichtiger Wegbereiter dafür, dass KI-gestützte Filmproduktion für unsere Branche Realität wird".

Was das für Kunden bedeutet

Für Kunden signalisiert die Ankündigung frühen Zugang zum GB300 NVL72 auf einer Cloud-Plattform, die laut CoreWeave dafür gebaut ist, Modelle mit mehreren Billionen Parametern zu trainieren, zu optimieren und bereitzustellen. Das Unternehmen stellt die Plattform als Fortschritt für Reasoning- und Agenten-Workloads dar.

Preise, regionale Verfügbarkeit oder einen Termin für einen breiteren Zugang nennt die Mitteilung nicht. CoreWeave verweist lediglich auf kommende Updates auf dem Weg zu einer breiteren Verfügbarkeit. Alle Leistungsangaben in der Ankündigung sind Behauptungen des Unternehmens.