CoreWeave startet ARENA zur Bewertung realer KI-Workloads

Workloads unter produktionsnahen Bedingungen testen

CoreWeave zufolge können Benchmarks übersehen, wie sich ein KI-Workload verhält, wenn GPUs gemeinsam mit Orchestrierung, Speicher und Netzwerk betrieben werden. Ein kleiner Test kann stabil wirken, bevor eine vollständige Pipeline den Durchsatz einbrechen lässt. Umgekehrt kann ein Modell, das in einem Benchmark ein Latenzziel erreicht, während eines End-to-End-Laufs zu Timeouts führen.

ARENA soll diese Lücke schließen, indem der tatsächliche Workload eines Teams auf CoreWeave unter Bedingungen ausgeführt wird, die der geplanten Produktionsumgebung möglichst nahekommen. Die Evaluierungen laufen in der Regel einige Wochen. Laut CoreWeave können Teams in diesem Zeitraum über einen ersten erfolgreichen Lauf hinausgehen, Erkenntnisse umsetzen und beobachten, wie sich der normale Betrieb verhält, statt sich auf einen einzigen Best-Case-Versuch zu verlassen.

Experten von CoreWeave unterstützen die Teams während der gesamten Evaluierung. Sie helfen dabei, Ergebnisse zu interpretieren, Änderungen zu testen und den Fokus auf Infrastrukturentscheidungen zu legen.

Ein geführter Weg von der Einrichtung zu Workload-nahen Tests

Nach Angaben des Unternehmens beginnt ARENA mit einer notebook-basierten Umgebung, die Teams dabei helfen soll, schnell einen ersten realen Lauf zu erreichen. Das Labor nutzt eine auf marimo basierende Notebook-Umgebung mit geführten Notebooks und einer Grundstruktur, wodurch der anfängliche Einrichtungs- und Glue-Code-Aufwand sinkt.

Die Evaluierungen verlaufen typischerweise in zwei Phasen. Zunächst arbeitet CoreWeave mit dem Team daran, die Grundlagen zu validieren und sicherzustellen, dass die Umgebung und die erfassten Signale erwartungsgemäß funktionieren. Anschließend wechselt das Team zu Workload-nahen Tests, die auf der geplanten Betriebsweise basieren.

Diese Tests können die Datenaufnahme und den anhaltenden Durchsatz mit AI Object Storage und LOTA untersuchen, Engpässe unter höherer Belastung identifizieren und zeigen, wie sich Kommunikationsmuster und Leistung zwischen den Läufen verändern. Teams können außerdem Orchestrierung, Datenpfade, Workload-Struktur und Skalierung anpassen, um zu sehen, wie sich diese Änderungen auf die Ergebnisse auswirken.

Betriebliche Transparenz und unterstützte Workflows

Die Umgebungen von CoreWeave ARENA werden mit einer vorinstallierten Testversion von Weights & Biases zur Erfassung von Metriken und Artefakten ausgeliefert. Teams, die Weights & Biases bereits nutzen, können ihren bestehenden Workflow beibehalten. Andere Teams können den Dienst ohne langwierige Einrichtung ausprobieren.

Die Läufe sind außerdem in CoreWeave Mission Control sichtbar, während Logs und Metriken in Grafana zur Verfügung stehen. Laut CoreWeave bietet dies dieselbe Betriebsansicht, die Teams auch außerhalb des Labors nutzen können, und hilft dabei, Leistungsänderungen mit den zugrunde liegenden Systemaktivitäten zu verknüpfen. Der CoreWeave Mission Control Agent kann betriebliche Informationen in Tools wie Slack übertragen, einschließlich wichtiger Metriken und Änderungen zwischen den Läufen.

Für die Orchestrierung unterstützt ARENA Kubernetes-native Workflows auf CKS, dem CoreWeave Kubernetes Service, sowie Slurm-basierte Workflows über SUNK, Slurm on Kubernetes, die auf CKS ausgeführt werden.

Verfügbarkeit für Infrastrukturentscheidungen

CoreWeave richtet ARENA an Teams, die bereits über einen realen Workload verfügen und kurz vor einer Entscheidung über die Skalierung, einen Infrastrukturwechsel oder die Vorbereitung auf den Produktivbetrieb stehen. Das Unternehmen zufolge soll die Evaluierung zeigen, ob sich ein Workload im realen Betrieb wie erforderlich verhält, wobei Leistung, Skalierung und Kosten gemeinsam betrachtet werden.

CoreWeave ARENA ist derzeit für Bestandskunden verfügbar, die neue Workloads validieren oder bestehende Workloads auf einer neuen Infrastruktur testen möchten. CoreWeave zufolge sollen sich neue Teams im 2. Quartal 2026 bewerben können.

Für Nutzer bietet das Angebot eine Möglichkeit, Infrastrukturentscheidungen zu testen, bevor sie sich auf einen Rollout-Plan oder einen KI-Anbieter festlegen. Der Wert liegt laut CoreWeave darin, unvollständige Benchmark-Signale durch wiederholbare Läufe und Betriebsdaten zu ersetzen, die Teams für eine fundiertere Infrastrukturentscheidung nutzen können.