CoreWeave und NVIDIA trainieren MLPerf-Benchmark GPT-3 in unter 11 Minuten

Das Ergebnis und die Hardware dahinter

In einer gemeinsamen Einreichung zu MLPerf Training ließen CoreWeave und NVIDIA den Benchmark für das große Sprachmodell GPT-3 175B auf der öffentlich verfügbaren Supercomputing-Infrastruktur von CoreWeave laufen. Laut CoreWeave kamen dabei mehr als 3.500 NVIDIA H100 Tensor Core GPUs zum Einsatz, der Durchlauf dauerte weniger als 11 Minuten. Das Unternehmen gibt an, die Leistung sei mehr als 29-mal höher gewesen als die des nächstbesten Konkurrenten, und der Lauf sei zudem viermal größer gewesen.

CoreWeave beschreibt seine Supercomputer-Instanzen als einen der größten NVIDIA-HGX-Cluster der Welt. Sie kombinieren HGX-Server mit NVIDIA-H100-GPUs, Intel Xeon Scalable Prozessoren der 4. Generation, NVIDIA ConnectX-7 mit 400 Gb/s InfiniBand und BlueField-2 DPUs.

MLPerf Training 3.0 hat GPT-3 175B neu aufgenommen, ein großes Sprachmodell auf Basis der Transformer-Architektur, das Dienste wie ChatGPT von OpenAI antreibt. CoreWeave bezeichnet MLPerf als den Branchenstandard für Training und Inferenz und vergleicht ihn mit dem Wert „0 auf 60“ bei Autos. Die Benchmarks würden von KI-Experten aus Wissenschaft, Forschungslaboren und Industrie einem Peer-Review unterzogen.

Ein Produktivcluster für Inflection AI

Der für die Einreichung genutzte Cluster ist ein Produktivsystem, das mit NVIDIA Quantum-2 InfiniBand für Inflection AI gebaut wurde. Laut CoreWeave hat Inflection AI die Rechenleistung für die MLPerf-Tests zur Verfügung gestellt. Inflection AI ist der Entwickler von Pi, einer persönlichen KI, die als freundlicher und unterstützender Begleiter gedacht ist und Gespräche, nette Ratschläge und knappe Informationen bietet.

Laut CoreWeave wurde Pi auf den NVIDIA-H100-Instanzen des Unternehmens trainiert. Mustafa Suleyman, CEO und Mitgründer von Inflection AI, sagte: „Jeder kann heute die Leistungsfähigkeit einer persönlichen KI erleben, die auf unserem hochmodernen großen Sprachmodell basiert, das auf dem leistungsstarken Netzwerk aus H100-GPUs von CoreWeave trainiert wurde.“

Der Cluster umfasst laut CoreWeave über 40.000 Kabel und 500 Meilen InfiniBand-Glasfaserkabel. Das NVIDIA-Quantum-InfiniBand-Netzwerk, das in allen H100- und A100-Instanzen zum Einsatz kommt, ermögliche es den GPUs, auch im großen Maßstab direkt und mit geringer Latenz miteinander zu kommunizieren.

CoreWeaves Argument zur Skalierung

CoreWeave sagt, es sei einer der ersten Anbieter von Cloud-Instanzen mit NVIDIA-H100-GPUs gewesen, die im März während der NVIDIA-Veranstaltung GTC allgemein für Kunden verfügbar wurden. Hyperscaler seien nicht dafür gebaut worden, solche Rechenleistung zusammenhängend im großen Maßstab bereitzustellen. Die eigene spezialisierte Infrastruktur biete dagegen Bare-Metal-Leistung mit passendem Speicher, Netzwerk und passender Software.

Brian Venturo, CTO und Mitgründer, formulierte es so: „Früher bekam man von einem einzelnen Cloud-Anbieter an einem einzelnen Standort nicht mehr als 2.000 bis 3.000 GPUs. CoreWeave baut Installationen mit mehr als 20.000 NVIDIA-GPUs an einem Standort.“

CEO und Mitgründer Mike Intrator sagte, die Ergebnisse „beweisen, dass CoreWeave liefern kann, was wir versprechen“.

Was das für KI-Teams bedeutet

Das Unternehmen stellt das Ergebnis als Beleg dafür dar, dass das Training großer Modelle in einer öffentlichen Cloud mit Geschwindigkeiten möglich ist, die bisher dedizierten Systemen vorbehalten waren. Teams, die CoreWeave Cloud nutzen, könnten aus einer größeren Auswahl an NVIDIA-GPUs wählen und ihre Workloads passend dimensionieren. Die Rechenleistung sei zudem für stark parallelisierte Workloads optimiert.

Mit Blick nach vorn sagte Intrator, ein Großteil der Branche konzentriere sich derzeit auf das Training, doch Modelle müssten bald als Produkte bereitgestellt werden. „Wir wissen, dass die Nachfrage nach KI-Inferenz kurz vor einer Explosion steht“, sagte er. Die Zahlen sind CoreWeaves eigene Darstellung der Einreichung, die Quelle nennt keine Details zu den Ergebnissen der Konkurrenz.