CoreWeave stellt den „AI Loop“ als Dauerzyklus für Modelle und Agenten vor

Fünf Schritte rund um Produktionsdaten

Laut CoreWeave haben Teams ein Modell früher als fertiges Produkt behandelt: trainieren, evaluieren, ausliefern. Dieser Ansatz sei überholt, denn sobald ein Modell oder ein Agent auf die Produktion trifft, erzeugt er das nach Darstellung von CoreWeave wertvollste Dataset, das ein Team besitzen kann: Belege dafür, wie er sich bei echten Nutzern, in Randfällen und bei Fehlern verhält.

Der AI Loop ist das Framework hinter dem, was CoreWeave und Weights & Biases gemeinsam aufbauen. Er besteht aus fünf Schritten:

• Run: Das Modell oder der Agent wird über CoreWeave Inference für echten Traffic bereitgestellt, entweder verwaltet und serverless auf CoreWeave-GPUs oder über dedizierte Endpunkte auf dem CoreWeave Kubernetes Service (CKS).
• Observe: Das Verhalten wird mit Weave-Traces und Live-Scoring erfasst, während CoreWeave Mission Control die darunterliegende Infrastruktur überwacht.
• Curate: Fehler, Randfälle und Nutzerfeedback werden zu Datensätzen gebündelt und in der Registry versioniert.
• Improve: Angepasst werden kann alles vom Prompt bis zum Modell selbst, mit CoreWeave Training auf CKS oder SUNK, nachverfolgt in W&B Models, während Automations das erneute Deployment übernehmen. Zu den Taktiken zählen Serverless RL und Serverless SFT.
• Evaluate: Aus den Datensätzen entsteht ein mit Weave Evaluations erstelltes Eval-Set, das als Hürde dient, die jeder Kandidat bestehen muss.

Danach beginnt der Zyklus von vorn. CoreWeave zufolge summieren sich dabei Gewinne bei Geschwindigkeit, Antwortgenauigkeit und Kostensenkung.

Erst die Agentenschleife, dann die Modellschleife zur Differenzierung

Die einfachste Variante der Schleife beschreibt CoreWeave als den Weg, auf dem sich Agenten verbessern: Sie laufen, erzeugen Traces, werden evaluiert, erhalten Feedback und werden besser. Der Großteil dieser Verbesserung berührt dem Unternehmen zufolge nie die Gewichte des Modells. Es kann ein präziserer Prompt sein, ein besseres Tool oder ein Skill, der an die Rolle des Nutzers angepasst ist.

Die kontinuierliche Verbesserung der Agentenschleife nennt CoreWeave „den Mindeststandard der Sorgfalt für produktive KI“. Sie werde ein Team aber nicht lange von anderen abheben, da alle, die dieselbe Schleife auf denselben Frontier-Modellen betreiben, an derselben Obergrenze landen.

Die tiefere Schleife ist das Post-Training: Fine-Tuning auf kuratierte Fehlerfälle, Reinforcement Learning gegen Evals aus Produktionstraffic und die Änderung der Gewichte. Das sei, so CoreWeave, das Unterscheidungsmerkmal für technisch anspruchsvolle Unternehmen. Dafür braucht es Trainingsrechenleistung neben der Inferenz, isolierte Ausführung für die Verifikation von Rewards und agentische Rollouts (CoreWeave Sandboxes), Evals, die stark genug sind, um als Hürde zu dienen, sowie den Nachweis, dass ein Kandidat den Amtsinhaber schlägt, bevor er Traffic erhält.

Die Einstiegshürde sei niedriger als früher, sagt das Unternehmen. CoreWeave Training bietet serverloses Reinforcement Learning und serverloses Fine-Tuning, ohne dass ein Team einen Trainingscluster aufsetzen muss, und CKS sowie SUNK stellen dieselben Cluster bereit, auf denen CoreWeave nach eigenen Angaben Frontier-Training betreibt. Außerdem erklärt CoreWeave, 9 von 10 Frontier-Labs zu bedienen.

Von Verbesserungen auf Gewichtsebene verspricht sich CoreWeave zwei Vorteile. Prompt-Verbesserungen laufen in eine Sättigung, während sich Verbesserungen an den Gewichten aufsummieren und proprietäre Fehlerdaten in einen Vorteil verwandeln, der im Modell steckt. Und ein für eine Aufgabe nachtrainiertes Modell kann ein größeres, nur per Prompt gesteuertes Modell bei Kosten und Latenz schlagen, was sich, weil Training und Inferenz auf derselben Bare-Metal-Plattform laufen, in messbaren Dollar und Millisekunden niederschlage.

Zwei Ebenen der Observability und der Agent ARIA

CoreWeave unterscheidet zwei Ebenen der Observability. Weave zeigt, was ein Agent getan hat: den Trace, die Tool-Aufrufe und den Score gegenüber Evals. Mission Control zeigt, was die Infrastruktur getan hat, darunter das Verhalten von GPU, Netzwerk und Storage in Echtzeit, die Erkennung von Nachzüglern bis hinunter zu einer einzelnen GPU, die einen verteilten Job ausbremst, sowie den Austausch fehlerhafter Knoten. Cluster, die so betrieben werden, erreichen laut CoreWeave einen Goodput von bis zu 96 %.

Das Unternehmen kündigte außerdem CoreWeave ARIA an, seinen AI Research and Iteration Agent, der sich in der Public Preview befindet. Laut CoreWeave analysiert ARIA Tausende Runs und Zehntausende Metriken aus Experimentdaten in Weights & Biases, erkennt leistungsbestimmende Muster, formuliert Hypothesen, startet Experimente, wertet Ergebnisse aus und empfiehlt den nächsten Schritt, ohne manuelle Orchestrierung. ARIA wurde mit Weave entwickelt, auf Basis von Daten aus umfangreicher interner Nutzung durch Mitarbeitende, und verbessert sich nach Angaben von CoreWeave durch dieselbe Schleife, die es selbst ausführt.

Registry und Lineage führen laut CoreWeave ein versioniertes Protokoll jedes Modells, Prompts, Datasets, Evals und Guardrails, sodass Teams eine Regression auf ihre Ursache zurückführen und einen Erfolg reproduzieren können.

Was das für KI-Teams bedeutet

Der Beitrag ist ein Statement zur Positionierung von CoreWeave: eine einzige Plattform für Training, Inferenz, Observability, Evals und Iteration statt getrennter Tools, die jedes Team selbst zusammensetzt. Wo ein Team in die Schleife einsteigt, hängt CoreWeave zufolge davon ab, was es baut. Bei Modellen passiert ein Großteil der Verbesserung vor dem Launch, daher dominiert die tiefere Schleife. Bei Agenten stammt das meiste Lernen aus der Produktion, weshalb Teams sich auf Prompt und Harness konzentrieren.

Für Teams, die loslegen wollen, verweist das Unternehmen auf Serverless Inference mit Abrechnung pro Token, Weave-Tracing, Mission Control und die ARIA-Preview. Preise oder Termine für die allgemeine Verfügbarkeit dieser Produkte nennt die Quelle nicht.