CoreWeave macht NVIDIA HGX H100 allgemein verfügbar, NovelAI zählt zu den ersten Nutzern

Zweites H100-Angebot von CoreWeave

Laut der Ankündigung des Unternehmens vom 21. März 2023 sind die HGX-H100-Instanzen das zweite NVIDIA-H100-Angebot von CoreWeave. Sie folgen auf den Start der H100-PCIe-GPU-Instanzen im Januar. Ausgewählten Kunden bot CoreWeave die neuen Instanzen bereits seit Februar an.

CoreWeave-CEO und Mitgründer Michael Intrator sagte, es bedeute "sehr viel, der erste Anbieter zu sein, der NVIDIA-HGX-H100-Plattformen allgemein verfügbar macht". Dies sei "ein Beleg für unsere Agilität und Effizienz beim Aufbau von Infrastruktur". Die Ankündigung kommt nur wenige Monate, nachdem CoreWeave im November erklärt hatte, zu den Ersten zu gehören, die Cloud-Instanzen mit NVIDIA-HGX-H100-Supercomputing anbieten.

So sind die Cluster aufgebaut

CoreWeave nach eigenen Angaben einen besonderen Ansatz beim Aufbau seiner HGX-H100-Cluster gewählt, um die Leistung für das Modelltraining zu optimieren. Die Cluster laufen auf der Kubernetes-nativen Infrastruktur von CoreWeave und nutzen ein Rail-optimiertes Design auf Basis der NVIDIA-Quantum-2-InfiniBand-Netzwerkplattform. Laut Unternehmen stehen damit 3,2 Tbit/s Bandbreite pro Knoten zur Verfügung.

• Die Infrastruktur lässt sich auf bis zu 16.384 H100-SXM5-GPUs in derselben InfiniBand-Fat-Tree-Non-Blocking-Fabric skalieren.
• CoreWeave Cloud integriert NVIDIA BlueField Data Processing Units (DPUs), um H100-Instanzen sicher und elastisch bereitzustellen.

Ian Buck, Vice President für Hyperscale und High Performance Computing bei NVIDIA, sagte, die Zusammenarbeit mit Innovatoren wie CoreWeave "stattet Entwickler mit modernsten NVIDIA-HGX-H100-GPUs aus, um große Sprachmodelle (LLMs) und andere KI-Workloads zu beschleunigen".

NovelAI und Anlatan als Early Adopter

NovelAI, im Juni 2021 gestartet, ist ein Abodienst auf Monatsbasis für KI-gestütztes Schreiben, Geschichtenerzählen, Textadventures und virtuelle Begleitung. Zudem dient es als GPT-basierte Sandbox für Kreative und Entwickler. Laut Ankündigung werden seine Algorithmen mit echter Literatur trainiert und erzeugen Texte auf Grundlage des Schreibstils der Nutzer. CoreWeave zufolge verbindet der Dienst KI-Storytelling mit vollständiger Verschlüsselung.

Die HGX-H100-Plattformen werden ein zentraler Baustein der Produktentwicklung und des Betriebs bei Anlatan sein. Laut CoreWeave erlaubt der Cluster den Entwicklern mehr Flexibilität beim Modelldesign, schnellere Trainingsiterationen und die Bereitstellung ihrer Modelle über NovelAI für Millionen Nutzer pro Monat. CoreWeave arbeitet laut Intrator seit mehr als einem Jahr mit Anlatan zusammen.

Anlatan-CEO Eren Doğan sagte, die GPUs verschafften dem Unternehmen "einen erheblichen Wettbewerbsvorteil in der Machine-Learning-Branche", von Modelltraining bis Inferenz. Er fügte hinzu, das Kubernetes-first-, Cloud-native Ökosystem von CoreWeave "befreit uns von Infrastruktursorgen und spart uns Zeit".

Was das für Kunden bedeutet

Für KI-Entwickler heißt die Ankündigung, dass HGX-H100-Kapazitäten bei CoreWeave nun allgemein verfügbar sind und nicht mehr auf ausgewählte Kunden beschränkt. Das Unternehmen positioniert die großskalige InfiniBand-Fabric und das Kubernetes-native Setup als Angebot für Teams, die große Sprachmodelle trainieren und betreiben. Der geplante Einsatz bei NovelAI zeigt ein Beispiel: ein Dienst für Endkunden, der sowohl Flexibilität beim Training als auch Inferenzkapazität für Millionen monatlicher Nutzer benötigt.

CoreWeave, 2017 gegründet, beschreibt sich als spezialisierten Cloud-Anbieter und behauptet, seine Lösungen für rechenintensive Anwendungsfälle seien bis zu 35-mal schneller und 80 % günstiger als große, generalisierte Public Clouds. Dabei handelt es sich um Angaben des Unternehmens selbst; Preise für die H100-Instanzen nennt die Ankündigung nicht.