Databricks öffnet Genie ZeroOps für öffentliche Beta zur Pipeline-Reparatur

Databricks hat Genie ZeroOps in die öffentliche Beta überführt. Workspace-Teams erhalten damit einen autonomen Agenten, der Probleme in Datenpipelines erkennt, untersucht und bei ihrer Behebung hilft. Nach Angaben des Unternehmens wurde das System anhand von Erkenntnissen aus mehr als 80.000 Pipeline-Problemen von Kunden weiterentwickelt.
- Genie ZeroOps ist jetzt als öffentliche Beta verfügbar.
- Databricks zufolge wurden mehr als 80.000 Pipeline-Probleme von Kunden beobachtet.
- Der Agent erkennt, untersucht und überprüft Pipeline-Probleme und schlägt Lösungen vor.
- Teams können gemeinsame Posteingänge, eigene Anweisungen und Pull Requests per Klick nutzen.
- Vor Änderungen an Produktionscode oder -daten ist bei ZeroOps eine menschliche Freigabe erforderlich.
Ein Agent für den gesamten Workflow bei Pipeline-Vorfällen
Genie ZeroOps soll die Arbeit übernehmen, die normalerweise auf ein Pipeline-Problem folgt, von der ersten Warnung bis zu einem vorgeschlagenen Code-Fix. Databricks zufolge kann das System sowohl schwerwiegende Job-Fehler als auch unauffällige Probleme erkennen, etwa wenn Tabellen nicht mehr aktualisiert werden oder Datenimporte weniger Zeilen als erwartet enthalten.
Der Agent arbeitet in fünf Schritten. Er erkennt Probleme in Jobs, Pipelines und Tabellen, untersucht Logs, Quellcode, Tabellenmetadaten und die Datenherkunft, überprüft mögliche Lösungen mit Unit-Tests und Testläufen in einer Sandbox, verschickt Benachrichtigungen und schlägt Abhilfemaßnahmen vor. Bei Git-gestützten Jobs kann er automatisch einen Pull Request mit bereits vorausgefüllten Details erstellen.
Benachrichtigungen können an Slack, Teams oder PagerDuty gesendet werden. ZeroOps kann außerdem Probleme mit niedrigerer Priorität herausfiltern, damit sich Teams auf Vorfälle konzentrieren können, die Aufmerksamkeit erfordern.
Funktionen, geprägt von 80.000 Kundenproblemen
Während der privaten Vorschau beobachtete Genie ZeroOps nach Angaben von Databricks mehr als 80.000 reale Kundenprobleme bei Hunderten Unternehmen. Das Unternehmen stellte fest, dass bei mehr als der Hälfte dieser Probleme organisationsspezifisches Wissen erforderlich war, um sie korrekt zu bewerten, zu priorisieren oder zu lösen.
Als Reaktion darauf bietet die öffentliche Beta einen gemeinsamen Posteingang, in dem Teams dieselben Vorfälle sehen können. Hinzu kommen Benachrichtigungen mit einer Zusammenfassung jedes Problems und einer Empfehlung. Teams können außerdem eigene Anweisungen für den Agenten hinterlegen, etwa zu bekannten fehleranfälligen Quellen, bevorzugten Lösungen und Namenskonventionen.
Mit der Pull-Request-Funktion per Klick können Nutzer von der Diagnose direkt zu einer vorgeschlagenen Codeänderung wechseln. Databricks erklärt außerdem, dass ZeroOps die bestehenden Berechtigungen von Unity Catalog beachtet und personenbezogene Daten entfernt, bevor eine Benachrichtigung Databricks verlässt.
Menschliche Freigabe bleibt erforderlich
Genie ZeroOps ändert Produktionscode oder -daten nicht direkt. Laut Databricks untersucht das System Fehler, schlägt eine Lösung vor und kann diese Lösung für einen Pull Request in einen neuen Branch übertragen. Vor jeder Änderung in der Produktion muss jedoch ein Mensch den Vorschlag prüfen.
Der Agent liest Ausführungsprotokolle, Quellcode, Metadaten vorgelagerter Tabellen und Stichproben aus, wobei er die Berechtigungen von Unity Catalog beachtet. Databricks zufolge werden die Modelle innerhalb des Sicherheitsbereichs des Unternehmens gehostet, bleiben Modellaufrufe in der Region des Workspaces und speichert der Modellanbieter weder Prompts noch Antworten.
Ein Workspace-Administrator kann die öffentliche Beta auf der Seite „Previews“ des Workspaces aktivieren. Nach der Aktivierung finden Nutzer das ZeroOps-Banner oben auf der Pipelines-Seite. Die Veröffentlichung ermöglicht Datenteams, Untersuchung und Empfehlungen zu automatisieren und zugleich Prüfungs- und Governance-Kontrollen beizubehalten.


