CoreWeave bietet als erster Anbieter NVIDIA GB200 NVL72 Instanzen allgemein verfügbar an

Das Angebot von CoreWeave

Laut CoreWeave, das sich selbst als AI Hyperscaler™ bezeichnet, soll der Cluster auf Basis des GB200 NVL72 Kunden dabei helfen, große KI-Modelle schnell zu trainieren, bereitzustellen und zu skalieren. Die Mitteilung datiert vom 4. Februar 2025.

Brian Venturo, Mitgründer und Chief Strategy Officer von CoreWeave, bezeichnete den Start als "einen weiteren Erfolg in unserer Reihe von Premieren". Er verwies auf die Cloud-Dienste des Unternehmens, darunter CoreWeave Kubernetes Service, Slurm on Kubernetes (SUNK) und die Observability-Plattform. Diese sind laut CoreWeave darauf ausgelegt, den Betrieb, die Verwaltung und die Skalierung von KI-Workloads auf modernster Hardware zu erleichtern.

Netzwerk und Leistungsversprechen

CoreWeave argumentiert, die Skalierbarkeit fortschrittlicher Modelle werde durch Servergrenzen eingeschränkt, insbesondere durch die Speicherkapazität und die Kommunikationsgeschwindigkeit zwischen GPUs. Die GB200 NVL72 Instanzen setzen auf NVLink-Konnektivität auf Rack-Ebene und NVIDIA Quantum-2 InfiniBand. Das Unternehmen erklärt, damit seien über eine Rail-optimierte Topologie 400 Gb/s Bandbreite pro GPU möglich, und zwar für Cluster mit bis zu 110.000 GPUs.

Zudem kommt die SHARP-In-Network-Computing-Technologie von NVIDIA Quantum-2 zum Einsatz. Sie kann laut CoreWeave die kollektive Kommunikation weiter optimieren und so für extrem niedrige Latenz und schnelleres Training sorgen.

Im Vergleich zu früheren Generationen nennt das Unternehmen für die Plattform folgende Werte:

• Bis zu 30-mal schnellere Echtzeit-Inferenz für große Sprachmodelle (LLMs).
• Bis zu 25-mal niedrigere Gesamtbetriebskosten (Total Cost of Ownership) und 25-mal weniger Energieverbrauch bei Echtzeit-Inferenz.
• Bis zu 4-mal schnelleres Training von LLMs.

Bisherige Meilensteine und Partner

CoreWeave reiht den Start in eine Folge früherer Hardware-Meilensteine ein. Im August vergangenen Jahres sei man nach eigenen Angaben unter den Ersten gewesen, die NVIDIA H200 GPUs anboten, um die schnellsten GPT-3-LLM-Workloads zu trainieren. Im November gehörte das Unternehmen zu den Ersten, die NVIDIA GB200 Systeme im Einsatz vorführten. Noch im selben Monat wie die Mitteilung kündigte es an, einen der ersten KI-Supercomputer mit NVIDIA GB200 Grace Blackwell Superchip an IBM zu liefern, damit dort die nächste Generation der Granite-Modelle trainiert werden kann.

Priya Nagpurkar, VP Hybrid Cloud and AI Platform Research bei IBM, sagte, die Partnerschaft, die auch IBM Spectrum Scale Storage umfasst, zeige das Engagement von IBM für "die Weiterentwicklung einer Hybrid-Cloud-Strategie für KI". Ian Buck, Vice President of Hyperscale and HPC bei NVIDIA, erklärte, die Skalierung für Inferenz und Training sei "eine der größten Herausforderungen für Unternehmen, die KI-Workloads der nächsten Generation entwickeln".

Was das für Kunden bedeutet

Für Organisationen, die GPU-Kapazität in großem Maßstab benötigen, bedeutet die Ankündigung, dass sich GB200 NVL72 Instanzen nun bei einem Cloud-Anbieter anfragen lassen und nicht mehr nur in Demos zu sehen sind. Angaben zu Preisen oder regionaler Verfügbarkeit enthält die Quelle nicht. Interessierte Kunden werden gebeten, sich für weitere Informationen an CoreWeave zu wenden.

Die Leistungs- und Kostenangaben stammen von CoreWeave selbst und sind als Höchstwerte gegenüber früheren Generationen formuliert. Die tatsächlichen Ergebnisse hängen daher vom jeweiligen Workload ab.