CoreWeave Notebooks bringt reaktive Python-Analysen in Forge-Projekte

Vom Dashboard zur individuellen Analyse

Laut CoreWeave beantworten Dashboards viele Fragen zu einem Modell, etwa zur Verlustkurve, zum Eval-Score oder zum Vergleich über einen Sweep hinweg. Die Fragen, die darüber entscheiden, ob ein Modell in Produktion geht, folgen meist danach: Warum hat sich ein Datensegment verschlechtert, welche Beispiele schlagen fehl und was haben sie gemeinsam, und ist ein Muster ursächlich oder ein Artefakt der Datenerhebung?

Um sie zu beantworten, braucht es Code, mit dem sich die bereits angezeigten Daten aufteilen und visualisieren lassen. Ein Notebook öffnet sich aus einem Forge-Projekt heraus und ist bereits mit dessen Experimenten, Artefakten und Evaluierungsergebnissen verbunden. Nutzer können Trainingsmetriken über Experimente hinweg abfragen, eine Evaluierungstabelle aus einem Artefakt laden, auf die relevanten Beispiele filtern und in der ersten Zelle mit der Analyse beginnen, so das Unternehmen.

Beispiel Fahrmodell

CoreWeave veranschaulicht die Idee an einem Demo-Notebook. Ein Fahrmodell wird darauf trainiert, an roten Ampeln anzuhalten, und sein aggregierter Ampelverlust sieht unauffällig aus. Die Trainingsdaten enthalten allerdings Attribute, die das Dashboard standardmäßig nicht darstellt: Wetterbedingungen, Tageszeit und die Frage, ob sich in der Nähe der Ampel ein anderes rotes Objekt im Bild befindet.

Im Notebook zeigte sich, dass der Verlust bei den meisten Wetterlagen niedrig, bei starkem Regen in der Nacht mit einem roten Objekt nahe einer Ampel jedoch deutlich höher war. Sortierte man die Frames nach Verlust und betrachtete die schlechtesten, waren Ampeln bei nächtlichem Regen mit einem roten Gebäude oder Lastwagen in der Nähe zu sehen. Laut CoreWeave unterscheidet das Modell bei Tageslicht zwischen Ampel und diesen Objekten, verwechselt sie unter diesen Bedingungen aber.

Die Botschaft des Unternehmens: Gesamtmetriken können solche Fehler verbergen. Sie aufzuspüren erfordert, nach bestimmten Attributen zu filtern, Vergleiche darzustellen, die ein bestehendes Dashboard womöglich nicht unterstützt, und die schlechtesten Fälle zu untersuchen.

Reaktive Ausführung und Teilen

marimo erstellt aus Variablenreferenzen einen Abhängigkeitsgraphen. Ändert sich eine Variable, laufen abhängige Zellen automatisch neu oder können bei aufwendigen Berechnungen als veraltet markiert werden. Wird eine Zelle gelöscht, entfernt marimo ihre Variablen aus dem Arbeitsspeicher des Programms. Laut CoreWeave bleiben so Code, Programmzustand und sichtbare Ausgaben konsistent, sodass beim Debuggen keine alte Ausgabe unter neuem Code stehen bleibt.

Das macht die Exploration auch interaktiv. Bei einem Schieberegler, einem Dropdown-Menü oder einem Tabellenfilter reagiert das Notebook, sobald das Bedienelement bewegt wird. Im Fahrbeispiel aktualisiert eine Wetterauswahl das Verlustdiagramm und das Raster der schlechtesten Frames gleichzeitig.

Notebooks werden im Projekt statt in lokalen Dateien gespeichert. Jedes Projekt hat eine Übersichtsseite mit den Notebooks des Teams, und Forge bietet eine Übersichtsseite, die Notebooks projektübergreifend mit Suche und Filter auflistet. Ein Kollege kann ein Notebook samt angebundener Daten öffnen, die Untersuchung nachlesen und kopieren. Wenn neue Experimente eintreffen, lässt sich dasselbe Notebook mit den neuen Daten erneut ausführen. Das macht laut CoreWeave aus einer einmaligen Untersuchung einen Regressionstest für das Team.

Einsatz im KI-Entwicklungszyklus und Ausblick

CoreWeave sieht Notebooks über den gesamten Entwicklungszyklus hinweg im Einsatz: bei der explorativen Datenanalyse vor dem Training, um Lücken und Duplikate zu finden, bei der Diagnose eines Experiments, das während des Trainings von seiner Baseline abwich, und bei der Evaluierung, um Fehlermodi aufzuspüren, die ein aggregierter Score wegmittelt.

Die öffentliche Preview ist für interaktive Analysen direkt an den Daten ausgelegt. In den kommenden Monaten plant CoreWeave mehrere Erweiterungen:

• Eine Ansicht aus einem Notebook zurück in einen Workspace als dauerhaftes Panel veröffentlichen, das sich mit den neuesten Daten aktualisiert.
• Ein Notebook als Daten-App hosten, also als interaktives Dashboard, das Teammitglieder ohne Blick in den Code nutzen können, etwa ein Labeling-Tool oder eine filterbare Ergebnisansicht.
• Mehr Rechenleistung in der Notebook-Sandbox, damit Data-Science-Teams Prognose- und Klassifikationsmodelle in einem Notebook trainieren können.
• Gemeinsames Erstellen mit CoreWeave ARIA, das demnächst Notebook-Zellen aus einer beschriebenen Ansicht schreiben können soll, sodass Nutzer pandas und Plot-Bibliotheken nicht beherrschen müssen.

Was das für Teams bedeutet

Für Teams, die bereits in Forge arbeiten, ändert sich vor allem, dass individuelle Analysen nicht mehr in separaten lokalen Tools stattfinden müssen. Notebooks lassen sich aus jedem Projekt oder von der Einstiegsseite aus starten, die Analyse bleibt an die Daten gebunden und für Kollegen sichtbar. Die geplanten Funktionen für Panels und Daten-Apps deuten darauf hin, dass CoreWeave Ergebnisse aus Notebooks in den Workspace zurückspielen will, auch wenn diese Vorhaben noch als künftige Arbeit beschrieben werden.