Netflix erweitert Pensive um KI, um fehlgeschlagene Datenworkloads zu diagnostizieren

Warum Regeln allein nicht genügten

Laut dem Netflix Technology Blog führen Mitarbeitende des Unternehmens täglich Millionen von Workloads auf Systemen wie Titus, Spark, Trino und Druid aus. An Spitzentagen scheitern davon etwa 100.000. Das nützliche Signal in mehreren Logs zu finden, zu entscheiden, ob der Fehler im Nutzercode oder in der Plattform liegt, und abzuwägen, ob man es erneut versucht, neu konfiguriert oder eskaliert, kann viel Entwicklerzeit kosten und Rechenleistung verschwenden.

Die erste Version von Pensive sammelte Logs fehlgeschlagener Workloads und nutzte reguläre Ausdrücke sowie handgeschriebene Java-Regeln, um Fehler zu extrahieren und zu klassifizieren. Anschließend gab sie Hinweise zu Wiederholungsversuchen oder Behebung an Produkte wie Maestro weiter. Netflix zufolge machte dies etwa 50 Prozent der Fehlschläge per Self-Service und in manchen Fällen automatisch behebbar.

Die Grenze liegt in der Abdeckung: Eine Regel existiert erst, nachdem jemand einen neuen Fehlermodus erkannt, die Logs gelesen, die Regel geschrieben hat und sie pflegt, wenn sich Engines und Log-Formate ändern. In einem Zeitraum von drei Monaten verarbeitete Pensive rund sieben Millionen Klassifizierungen von Job-Fehlschlägen, und etwa die Hälfte landete in der Kategorie „unbekannt“.

Fehlerextraktion: Das Modell wählt Zeilennummern

Pensive AI behält die deterministischen Regeln bei und legt die KI als Schicht darum. Netflix zufolge sorgt das für breitere Abdeckung, geringe Latenz, kontrollierte KI-Kosten und einfachere Wartung.

Für die Fehlerextraktion nummeriert Pensive jede Zeile eines Logs und übergibt dem Modell eine Folge von {lineNumber, text}-Einträgen. Das Modell gibt nur zwei ganze Zahlen zurück, nämlich die erste und die letzte Zeile des Fehlerabschnitts, und Pensive rekonstruiert den Text aus der eigenen Kopie des Logs. Netflix erklärt, dass die Erzeugung von Output-Tokens deutlich langsamer ist als das Lesen von Input-Tokens, weshalb dieser Ansatz Kosten und Latenz senkt. Da der angezeigte Text aus dem Original-Log stammt, verringert er zudem Halluzinationen, auch wenn das Modell weiterhin den falschen Bereich wählen kann. Deshalb ist die Qualität der Extraktion Teil der KI-Evaluierungen des Teams.

Die Extraktion läuft automatisch, sobald ein Maestro-Schritt fehlschlägt. Sie teilt sich eine Anfrage mit der bestehenden regex-basierten Klassifizierung, und die gesamte Antwort muss innerhalb des harten 90-Sekunden-Timeouts von Maestro für die Nachverarbeitung zurückkommen. Logs werden parallel unter einer gemeinsamen Frist verarbeitet, die deutlich unterhalb dieses Limits liegt, und jeder Aufruf für ein einzelnes Log, der sie verpasst, wird ausgelassen, damit die Anfrage rechtzeitig zurückkehrt.

Auch das Datenmodell hat sich geändert. Das Legacy-Format enthielt einen einzigen abgeflachten Fehlerstring, während die KI-Extraktion eine Liste von Fehlern zurückgibt, einen pro Log-Quelle, mit Deep Links zu den Original-Logs. Netflix behielt beide Felder bei, um Clients nicht zu beschädigen. Die Data-Portal-Oberfläche für fehlgeschlagene Maestro-Schritte liest das neue Feld, während der Query Editor, Workbench-Notebooks und einige Slack-Clients weiterhin den Legacy-Pfad nutzen. Die Migration läuft laut Unternehmen noch.

Debugging auf Abruf

Über die Extraktion hinaus hat Netflix Pensive AI Debugging entwickelt, das fehlgeschlagene Schrittversuche analysiert und Ursachenanalysen sowie Vorschläge zur Behebung liefert. Es ist über programmatische APIs, MCP und die Data-Portal-Oberfläche verfügbar, alle über einen gemeinsamen Einstiegspunkt in der Netflix Data Platform.

Eine Debugging-Antwort kann mehrere Dutzend Sekunden oder eine Minute dauern, verglichen mit wenigen Sekunden bei der Extraktion. Netflix führt sie auf Abruf statt automatisch aus, was nach Angaben des Unternehmens die Kosten im Griff hält, weil die meisten fehlgeschlagenen Schritte nie geöffnet werden. Die Arbeitseinheit ist der fehlgeschlagene Schrittversuch, nicht die Person, die die Anfrage auslöst, sodass alle, die denselben Versuch ansehen, dieselbe Diagnose sehen. Antworten werden pro Schrittversuch zwischengespeichert, sodass eine zweite Anfrage zu einem Key-Value-Lesezugriff wird statt zu einem weiteren Inferenzaufruf.

Was das für Nutzer bedeutet

Netflix berichtet von ersten Ergebnissen, die es als ermutigend bezeichnet. Bei fehlgeschlagenen Schrittversuchen, bei denen niemand Pensive AI nutzte, gab es im Schnitt 321 Prozent mehr manuelle Aktionen zur Erkundung von Debug-Logs als bei Versuchen, bei denen jemand es verwendete. Das Unternehmen betont, dass es sich um einen Beobachtungsvergleich handelt und nicht um eine Aussage über Ursache und Wirkung.

In der Praxis erhalten Anwender durch die Extraktion bei jedem Fehlschlag einen schnellen ersten Überblick und können mit dem Debugging tiefer einsteigen, wenn das nicht reicht. Netflix will als Nächstes weitere agentische Debugging-Erfahrungen erkunden.