CoreWeave bietet im ersten Quartal 2024 Instanzen mit NVIDIA GH200 Grace Hopper an

Pläne für GH200 und H200

Laut CoreWeave soll der NVIDIA GH200 Grace Hopper Superchip im ersten Quartal 2024 auf die eigene Plattform kommen. Das Unternehmen verwies außerdem auf die neue NVIDIA-HGX-H200-Plattform, die die kürzlich vorgestellte NVIDIA H200 Tensor Core GPU enthält. CoreWeave erwartet, ab dem kommenden Jahr zu den ersten Cloud-Anbietern zu gehören, die diese Technik einsetzen.

CoreWeave beschreibt die NVIDIA H200 GPU als Baustein, der "generative KI und Hochleistungsrechnen auf ein neues Niveau hebt" und kürzere Entwicklungszeiten sowie geringere Gesamtkosten ermöglicht. Nach Angaben des Unternehmens bietet sie einen höheren Durchsatz und mehr Speicher als die NVIDIA H100 GPU, was die Inferenz bei großen Sprachmodellen beschleunigt. Aus Sicht von CoreWeave dürfte das für Kunden zu geringeren Betriebskosten (Total Cost of Ownership) führen.

Das Unternehmen will die HGX-H200-Plattform zudem in den eigenen Software-Stack und die eigenen Systeme integrieren. Es spricht von einem weiteren Meilenstein und nennt als Ziel eine Cloud-Infrastruktur, die im großen Maßstab leistet und Kunden hilft, schneller als die Konkurrenz auf den Markt zu kommen. Dabei handelt es sich um Aussagen von CoreWeave selbst; Benchmark-Zahlen oder Preise für die neuen Instanzen nennt die Quelle nicht.

Partner und Präsentationen am Stand auf der SC23

CoreWeave erklärte, auf der diesjährigen SC23 Kooperationen mit NVIDIA und weiteren wichtigen Partnern anzukündigen. Als Partner genannt werden VAST Data, SchedMD, Weights and Biases und Zeet.

Am Stand #1373 will das Unternehmen drei Themen vorstellen:

• Seine gemeinsam mit NVIDIA eingereichten Ergebnisse für MLPerf Training 3.0, die laut CoreWeave Rekordwerte bei den Machine-Learning-Benchmarks erzielten.
• Die Serverless-Infrastruktur von CoreWeave und das Argument, dass Bare Metal besser für Inferenz, Modelltraining und moderne KI- und ML-Workloads geeignet ist.
• Slurm SUNK, entwickelt von SchedMD, das für die Planung und Orchestrierung massiv paralleler Jobs ausgelegt ist, zusammen mit Kubernetes für den Betrieb produktiver Anwendungen wie Inferenz.

Hintergrund: Nachfrage nach Skalierung

Nach Angaben von CoreWeave vertrauen führende KI-Labore und Unternehmen auf die angepassten GPU-Cluster des Unternehmens mit NVIDIA H100 Tensor Core GPUs, um einige der komplexesten Modelle der Branche zu entwickeln, zu trainieren und bereitzustellen. Diese großen Modelle stießen weiterhin an die Grenzen heutiger Systeme und erforderten enorme Skalierung, um Engpässe beim Ausbau generativer KI zu beseitigen, so das Unternehmen.

Diese Nachfrage nach beschleunigtem Rechnen ist der Hintergrund der neuen Hardwarepläne. CoreWeave erklärt, weiterhin spezialisierte Rechenleistung für generative KI und Hochleistungsrechnen zu liefern, während der KI-Boom anhält.

Was das für Kunden bedeutet

Für Kunden, die Inferenz mit großen Sprachmodellen sowie andere KI- und HPC-Workloads betreiben, signalisiert die Ankündigung, dass auf der CoreWeave-Plattform ab Anfang 2024 neuere NVIDIA-Hardware vorgesehen ist. CoreWeave stellt als Vorteil bessere Leistung und Effizienz sowie geringere Betriebskosten heraus. Genaue Verfügbarkeitstermine über das erste Quartal 2024 hinaus sowie Preise oder Leistungswerte nennt die Quelle nicht; diese Details muss das Unternehmen noch bestätigen.