CoreWeave-Benchmark: AI Object Storage übertrifft 2 GiB/s Lesegeschwindigkeit pro GPU
CoreWeave hat Benchmark-Ergebnisse für sein CoreWeave AI Object Storage (CAIOS) veröffentlicht: Über 20 GPU-Knoten hinweg erreichte der Dienst einen aggregierten Lesedurchsatz von 368 GiB/s, das entspricht 2,3 GiB/s pro GPU. Laut Unternehmen beruht das Ergebnis auf dem Caching der Daten auf lokalen NVMe-Laufwerken und soll sich auf beliebig viele GPUs skalieren lassen.
- CoreWeave meldet 368 GiB/s aggregierten Lesedurchsatz auf 20 H200-Knoten, also 2,3 GiB/s pro GPU.
- Die Geschwindigkeit beruht auf LOTA, das Daten auf lokalen NVMe-Laufwerken zwischenspeichert, mit 1 TiB Cache pro Knoten und 20 TiB insgesamt.
- Bevor sich der Cache füllte, lagen die Lesezugriffe bei etwa 24 GiB/s, also 1,2 GiB/s pro Knoten.
- CoreWeave erwartet, dass die Leistung auf beliebig viele GPUs skaliert; der Test selbst nutzte jedoch 20 Knoten und maß nur Lesezugriffe.
- Die Schreibleistung, relevant für Checkpointing, ist der nächste geplante Benchmark.
Was CoreWeave getestet hat
CAIOS ist ein S3-kompatibler, verwalteter Cloud-Speicherdienst im Exabyte-Maßstab, der für das GPU-intensive Training von KI-Modellen entwickelt wurde. CoreWeave hat die allgemeine Verfügbarkeit im März angekündigt. Zentraler Bestandteil des Dienstes ist der Local Object Transport Accelerator (LOTA), der häufig genutzte oder vorab bereitgestellte Daten auf lokalen NVMe-Laufwerken in den GPU-Knoten zwischenspeichert. Laut CoreWeave verringert das die Netzwerklatenz und beschleunigt Trainingsabläufe.
Für den Benchmark setzte das Unternehmen eine Testanwendung auf 20 CoreWeave-GPU-Knoten in seiner Availability Zone US-WEST-04A ein. Jeder Knoten verfügte über 8 NVIDIA-H200-GPUs, eine NVIDIA BlueField-3 DPU mit zwei redundanten 100-Gbit/s-Netzwerkanbindungen für den Speicherzugriff sowie 8 NVIDIA-ConnectX-7-InfiniBand-Adapter. Jeder Knoten hatte einen lokalen Cache von 1 TiB, was einen globalen Cache von 20 TiB im gesamten Cluster ergab. Sämtliche Lese- und Schreibzugriffe liefen über den Endpunkt cwlota.com.
CoreWeave weist darauf hin, dass die Tests CPU-gesteuerte I/O-Zugriffe nutzten und keine direkten Speicherzugriffe der GPU. Sie liefen auf H200-Knoten, um reale Produktionsumgebungen abzubilden.
Methode und Ergebnisse
Das Team verwendete das Open-Source-Benchmarking-Tool Warp S3, das Lese- und Schreibszenarien mit zufällig generierten Daten simuliert. Jede Warp-Instanz auf jedem Knoten schrieb 10.000 Objekte mit je 50 MiB und Teilgrößen von 10 MiB, bei 100 parallelen Threads. Anschließend führte Warp 10 Minuten lang zufällige Lesezugriffe über die 20 Knoten aus. Da mehrere Knoten wiederholt auf dieselben Objekte zugriffen, konnte der LOTA-Cache spätere Lesezugriffe beschleunigen.
In der ersten Minute, während sich der Cache noch füllte, maß CoreWeave einen aggregierten Lesedurchsatz von etwa 24 GiB/s, also 1,2 GiB/s pro Knoten. Innerhalb einer weiteren Minute war der Cache gefüllt, und alle folgenden Lesezugriffe kamen aus dem lokalen NVMe-Speicher. Der Durchsatz stieg dann auf insgesamt 368 GiB/s, im Schnitt 18,4 GiB/s pro GPU-Knoten bzw. 2,3 GiB/s pro GPU.
CoreWeave zufolge zeigt dies, dass CAIOS mehr als 2 GiB/s Leseleistung pro GPU erreichen kann; Kunden, die mit Tausenden GPU-Knoten arbeiten, bestätigten den Wert. Das Unternehmen argumentiert, dass die Leistung auf beliebig viele GPU-Knoten und GPUs skalieren sollte, weil zwischengespeicherte oder vorab bereitgestellte Daten mit der Geschwindigkeit des knotenlokalen Speichers gelesen werden. Diese Skalierung ist eine Erwartung von CoreWeave und wurde im Test mit 20 Knoten nicht direkt gemessen.
Caching-Verhalten und Pre-Staging
Laut CoreWeave wird das gesamte Objekt für spätere Lesezugriffe zwischengespeichert, sobald auf ein beliebiges Segment zugegriffen wurde. Das helfe bei Workloads, in denen Teilzugriffe häufig sind, etwa beim Training mit Videodaten für autonome Fahrzeuge oder bei der Wiederherstellung von Checkpoints.
Nutzer können Datensätze außerdem vorab in den Cache laden. CoreWeave nennt große Multimedia-Dateien, Inferenzanwendungen und Container-Registry-Images als Einsatzfälle. Bestehende S3-kompatible Workloads müssen lediglich auf den dedizierten Endpunkt umgestellt werden; zusätzlicher Programmieraufwand sei laut Unternehmen nicht nötig.
Was das für KI-Teams bedeutet
Die Ergebnisse stammen von CoreWeave selbst, aus einem Test, den das Unternehmen selbst konzipiert und durchgeführt hat, und sie beziehen sich nur auf Lesezugriffe. In der nächsten Benchmark-Phase will CoreWeave die Schreibleistung untersuchen, die für Checkpoint-Vorgänge wichtig ist. Aufgrund der horizontal skalierbaren Architektur erwartet das Unternehmen auch hier einen ähnlich starken Durchsatz.
Für Data Scientists und ML-Ingenieure lautet die praktische Aussage: Der Datenzugriff soll die GPUs auch dann nicht ausbremsen, wenn Modelle und Datensätze wachsen. CoreWeave beschreibt zudem den Testaufbau, einschließlich der Warp-Parameter und des Helm-basierten Deployments, so detailliert, dass Kunden ihn in ihren eigenen Umgebungen nachstellen können.
