CoreWeave startet ARIA: Agent führt Experimente direkt in Weights & Biases durch

Ein Forschungszyklus von Anfang bis Ende

CoreWeave beschreibt ARIA als Motor einer „Autoresearch-Schleife“: Ergebnisse analysieren, Hypothesen aufstellen, das nächste Experiment starten und auswerten, was dabei herauskommt. Nach Angaben des Unternehmens durchläuft ARIA den gesamten Forschungszyklus, statt ihn nur zu analysieren.

Nutzer beschreiben, was sie herausfinden möchten, etwa ob ein Dropout nach den Attention-Schichten gegen Overfitting hilft. Laut CoreWeave formuliert ARIA daraufhin eine Hypothese, schreibt die Konfiguration und startet das Experiment über W&B Launch auf der Rechenkapazität des Teams. Ist der Run beendet, bewertet der Agent die Ergebnisse im Vergleich zur Baseline, aktualisiert den Workspace mit Vergleichspanels und entwirft einen W&B Report mit seinen Erkenntnissen.

Fällt das Ergebnis nicht eindeutig aus, schlägt ARIA ein Folgeexperiment vor, zum Beispiel eine andere Dropout-Rate, einen längeren Trainingsplan oder einen Sweep über mehrere Werte. CoreWeave zufolge wird jeder Run erfasst und jede Entscheidung ist im Gespräch nachvollziehbar. Die Zeit zwischen einem abgeschlossenen Run und dem nächsten konfigurierten schrumpfe von Stunden auf Minuten.

Live-Dashboards und eingebauter Projektkontext

Statt mit langen Texten oder Zahlenlisten zu antworten, erstellt ARIA nach Angaben des Unternehmens teilbare W&B-Workspaces, Panels und Reports, um seine Ergebnisse zu belegen. Der Panel-Typ richtet sich nach der Fragestellung: eine Heatmap für zweidimensionale Parameter-Sweeps, ein Parallel-Coordinates-Plot für Wechselwirkungen zwischen Hyperparametern oder ein Balkendiagramm für den Vergleich diskreter Konfigurationen. Da es sich um Live-Dashboards handelt, aktualisieren sie sich mit neuen Runs und sind für das gesamte Team sichtbar.

Wird ARIA von einer Workspace-Seite aus geöffnet, kennt der Agent bereits das Projekt, die sichtbaren Runs und die aktiven Filter. Nutzer müssen also keine Screenshots einfügen oder erklären, woran sie gerade arbeiten. Laut CoreWeave kann ARIA auf in W&B protokollierten Trainingscode, Experiment-Logs, Loss-Kurven, Metriken, Artefakte und Checkpoints zugreifen. Auch projektübergreifend und in die Experimente von Teamkollegen kann er hineinschauen.

Das Unternehmen nennt mehrere Beispiele. Wird gefragt, warum der Validation Loss in Epoche 12 stagniert, während die Downstream-Eval-Werte weiter steigen, holt ARIA die Trainings-Logs, prüft den Learning-Rate-Plan, vergleicht mit ähnlichen Runs in anderen Projekten und gleicht Techniken aus aktuellen Papern auf arXiv ab. Auf der Log-Seite eines fehlgeschlagenen Runs kann der Agent einen CUDA-OOM-Fehler erkennen und mit der Ursachensuche beginnen, ohne dass man ihm sagen muss, welcher Run gemeint ist.

Warum CoreWeave einen plattformspezifischen Agenten gebaut hat

CoreWeave argumentiert, ein universeller Coding-Agent könne W&B zwar über APIs abfragen, sei dafür aber nicht gebaut. Laut dem Unternehmen kennt ein solcher Agent womöglich den Unterschied zwischen dem Anzeigenamen und der ID eines Runs nicht, weiß nicht, wie sich die Run-History-API effizient abfragen lässt, oder welche Visualisierungen ein Sweep automatisch erzeugt. Er könnte ganze Projekte durchsuchen, obwohl nur wenige Runs relevant sind, oder redundante Aufrufe absetzen, die Nutzer warten lassen.

ARIA werde dagegen vom W&B-Team fortlaufend auf die Eigenheiten der Plattform trainiert, so CoreWeave. Das Unternehmen behauptet, dies liefere schnelle, verlässliche Antworten, egal ob ein Projekt 20 oder 20.000 Runs umfasst. ARIA ist außerdem in der mobilen Weights-&-Biases-App verfügbar, sodass Forschende unterwegs Runs überwachen und mit dem Agenten interagieren können.

Zu den genannten Anwendungsfällen zählen: Muster in Ergebnissen analysieren, Ansichten erstellen, die Ausreißer hervorheben, OOM-Fehler anhand von Logs und Systemmetriken debuggen, den nächsten Hyperparameter-Satz vorschlagen und den Job starten, den besten Run eines Teamkollegen in einem anderen Projekt finden und zum Vergleich importieren sowie Produktfragen beantworten.

Roadmap und Einstieg

CoreWeave nennt die Public Preview „erst den Anfang“. Zu den geplanten Funktionen gehören geteilte Agenten-Gespräche für ganze Teams, ein gemeinsames Board, auf dem Menschen und ARIA Forschungsideen beisteuern, sowie ein Modus, in dem ARIA die Hypothese mit der höchsten Priorität aufgreift, das Experiment entwirft und startet, es überwacht und anschließend Bericht erstattet. Zudem plant das Unternehmen ein dauerhaftes Gedächtnis für Projekt, Team-Workflows und Forschungsziele.

Für den Unternehmenseinsatz sieht die Roadmap benutzerdefinierte Anweisungen und Skills vor, eigene MCP-Server zur Anbindung interner Werkzeuge, Datenbanken oder Dokumentation sowie die Möglichkeit, eigene API-Schlüssel für einen bevorzugten LLM-Anbieter zu verwenden. Außerdem soll ARIA über MCP mit CoreWeave Mission Control verbunden werden, damit sich Rechenressourcen und Experimente in einem Gespräch auswerten lassen. Auch Admin-Kontrollen für Unternehmen stehen auf der Roadmap.

Zum Ausprobieren öffnen Nutzer ein beliebiges Projekt in W&B, klicken in der Seitenleiste auf das Agenten-Symbol und stellen eine Frage zu ihren Experimenten. Für Teams, die bereits große Mengen an Runs in Weights & Biases erfassen, lautet das Versprechen, die Zeit zwischen zwei Experimenten zu verkürzen. Die Funktionen jenseits der aktuellen Preview bleiben allerdings Pläne und sind noch nicht veröffentlicht.