CoreWeaves CAIOS erreicht auf NVIDIA Blackwell Ultra mehr als 7 GB/s pro GPU

Was CoreWeave getestet hat

Im März veröffentlichte CoreWeave Benchmark-Ergebnisse für CAIOS auf NVIDIA-H100-GPU-Nodes. Sie zeigten einen dauerhaften Durchsatz von mehr als 2 GB/s pro GPU, unabhängig von der Zahl der GPUs. Das Unternehmen beschreibt CAIOS als auf KI ausgerichteten Speicherdienst, der einen höheren Durchsatz pro GPU liefern soll als herkömmlicher Objektspeicher und auf Hunderttausende GPUs skalierbar ist. Dazu gehört der Local Object Transport Accelerator (LOTA), der Objekte auf GPU-Nodes vorab bereitstellt und zwischenspeichert.

Die neuen Tests liefen auf 16 Blackwell-Ultra-Nodes mit dem Benchmarking-Tool Warp S3 innerhalb des CoreWeave Kubernetes Service. Verwendet wurden 10.000 Objekte mit je 50 MB, 15-MB-Teile und eine Parallelität von 100. Pipelining war aktiviert, das heißt, Cache-Lesezugriffe wurden knotenübergreifend vorab eingereiht, statt als sequenzielle Aufrufe zu erfolgen. CoreWeave testete sowohl Ethernet (TCP) als auch RDMA über NVIDIA Quantum InfiniBand.

Ergebnisse: Ethernet gegenüber InfiniBand

Bei Ethernet lag der dauerhafte Durchsatz bei maximal 180 GB/s über die 16 Nodes, also 11,25 GB/s pro Node und 2,81 GB/s pro GPU. Laut CoreWeave begrenzte das Ethernet-Netzwerk im Testlabor das Ergebnis, sodass der Durchsatz pro Node nicht das Niveau des früheren Tests erreichte.

Mit RDMA über NVIDIA Quantum InfiniBand stieg der dauerhafte Durchsatz auf 449 GB/s über die 16 Nodes, das sind 28,06 GB/s pro Node und 7,02 GB/s pro GPU. Nach Angaben von CoreWeave bewältigte das InfiniBand-Fabric die Parallelität der gesamten Flotte mühelos, was das Unternehmen als Skalierungsvorteil des RDMA-Transports darstellt. Der Durchsatz stieg im Zeitverlauf, während Objekte im LOTA-Cache bereitgestellt wurden. Die Maximalwerte pro Node lagen zwischen 25,6 und 36,9 GB/s. Ein GB300-Node hat 4 GPUs, sodass der Durchschnitt von 28,06 GB/s mehr als 7 GB/s pro GPU entspricht.

Woher die Zugewinne kommen

CoreWeave schlüsselt die Steigerung von 2 GB/s pro GPU in drei Schritte auf:

• Weniger GPUs pro Node: H100-Nodes haben 8 GPUs, Blackwell-Ultra-Nodes 4. Bei gleichem oder höherem Durchsatz pro Node verdoppelt das den Durchsatz pro GPU von 2 auf 4 GB/s.
• InfiniBand für die Übertragung zwischen Nodes: Da der LOTA-Cache über alle Nodes hinweg global ist, erhöht eine schnellere Übertragung zwischen den Nodes den Gesamtdurchsatz von CAIOS. CoreWeave nennt eine Verbesserung von rund 50 Prozent, die den Wert von 4 auf 6 GB/s pro GPU hebt. Separate InfiniBand-Tests auf H100 hätten ähnliche Zugewinne gegenüber den Ethernet-Ergebnissen vom März gezeigt.
• Optimierungen der LOTA-Pipeline: Änderungen daran, wie LOTA Daten liest und schreibt, brachten rund 17 Prozent und hoben den Durchsatz von 6 auf mehr als 7 GB/s pro GPU. Aktuelle LOTA-Tests auf H100-Nodes hätten dies bestätigt, so CoreWeave.

Die Zahlen stammen von CoreWeave selbst, aus der eigenen Testumgebung.

Was das für KI-Workloads bedeutet

CoreWeave zufolge ist CAIOS für die datenintensivsten Phasen von KI ausgelegt: das Einspeisen großer Trainingsdatensätze in GPUs, kürzere Checkpointing- und Wiederherstellungszyklen, schnelleres Laden von Modellgewichten und die Unterstützung von Key-Value-Caches mit hohem Durchsatz für die Inferenz. Nach Angaben des Unternehmens verkürzt der neue Durchsatz Trainingszeiten weiter, senkt die Time to First Token (TTFT) bei der Inferenz und steigert die ETL-Effizienz.

Das Unternehmen argumentiert, dass die Lücke zwischen GPU-Rechenleistung und Datenverfügbarkeit mit der weiteren Optimierung von CAIOS immer kleiner wird, sodass GPUs auch bei der extremen Parallelität in Training und Inferenz voll ausgelastet bleiben. Für Kunden deuten die Ergebnisse darauf hin, dass der beste Durchsatz von der Kombination aus Blackwell-Ultra-Hardware, InfiniBand-Transport und Pipelining abhängt: Der Ethernet-Lauf in diesem Labor kam auf 2,81 GB/s pro GPU.