Factory und Databricks verknüpfen Datenmigration mit Softwaremodernisierung

Eine Migration als Ausgangspunkt der Partnerschaft

Laut Factory entstand die Partnerschaft aus der gemeinsamen Arbeit für eines der größten Unternehmen weltweit. Die beiden Firmen helfen diesem Kunden, eine komplexe Datenplattform, auf der Hunderte Geschäftsanwendungen laufen, auf die Databricks Data + AI Platform zu migrieren. Es geht um Petabytes an Daten und Hunderttausende Tabellen.

Zu den Anwendungen gehören Benutzeroberflächen, Anwendungsdienste, Integrations- und API-Schichten, Geschäftslogik und Regeln, Sicherheits- sowie Verwaltungsfunktionen. Factory zufolge haben sie alle Abhängigkeiten und Anforderungen, die die Migration überstehen müssen. Als Factory in das Projekt einstieg, war ein großer Teil der Daten bereits in das Databricks Lakehouse verlagert. Die verbleibende Aufgabe bestand darin, die Anwendungen und Workflows neu aufzubauen, die diese Daten nutzen.

Frühere Migrationen dieser Größenordnung beschreibt Factory als ressourcenintensiv und riskant. Dateningenieure migrierten Tabellen und bauten Pipelines neu auf, während Anwendungsentwickler Software von Hand analysierten und neu schrieben. Die Teams arbeiteten mit unterschiedlichen Kompetenzen, Werkzeugen und Prozessen, und schon kleine Änderungen an einer Datenpipeline führten zu Folgewirkungen und Übergaben in nachgelagerten Bereichen.

Ein Engineering-Workflow von der Analyse bis zum Deployment

Factory und Databricks wollen die Migration in einem einzigen Engineering-Workflow bündeln. Agenten und Automatisierung sollen das bestehende System verstehen, die Migration planen, die Lösung bauen und das Ergebnis validieren. Databricks liefert dabei das offene, kontrollierte Fundament für Daten, Analytik und KI, Factory steuert agentenbasiertes Software-Engineering bei.

Der erste Schritt besteht darin, das aktuelle System zu verstehen. Factory Droids arbeiten über Anwendungscode, Datenpipelines, SQL, Tests und verfügbare Dokumentation hinweg. Mit Zugriff auf die relevanten Repositories und Werkzeuge können sie nachvollziehen, wie eine Anwendung von einer Stored Procedure abhängt, welche Pipeline ihre Eingaben erzeugt und wo sich eine Änderung auf das nachgelagerte Verhalten auswirken könnte. Factorys Kontextintegrationen und der Zugriff auf Assets, die über Databricks Unity Catalog verwaltet werden, helfen dabei, Anwendungsabhängigkeiten mit der Datenbasis zu verbinden.

Aus diesem Verständnis entsteht der Migrationsplan. Droids können Abhängigkeiten identifizieren, eine Umsetzungsreihenfolge vorschlagen und Kompatibilitätsprüfungen definieren. Factorys Missions bieten Planung, Meilensteine und koordinierte Ausführung für Arbeiten, die mehrere Komponenten umfassen. Ingenieure prüfen den Plan und klären mehrdeutige Geschäftsregeln, bevor die Umsetzung fortgesetzt wird.

Steht der Plan, nutzen die Droids den API-Zugriff auf Databricks, um Jobs anzulegen und auszuführen, Abfragen zur Validierung der Ergebnisse durchzuführen und Anwendungen bereitzustellen. Factory nennt ein Beispiel: Die operative Datenbank einer Anwendung wird von einem Legacy-Postgres auf Databricks Lakebase umgezogen, Datentransformationen werden in Python neu geschrieben, eine Lakeflow-Pipeline wird gebaut und zeitlich eingeplant, ein AI/BI-Dashboard wird erstellt, und die neue Anwendung samt Daten wird mit der Altversion verglichen.

Drei Einsatzkategorien

Die Partnerschaft deckt drei Kategorien von Anwendungsfällen ab:

• PDLC Automation: Factory kann Teams dabei unterstützen, von der Produktanforderung über Planung, Entwicklung, Tests, Sicherheit, Dokumentation und Monitoring bis zur Weiterentwicklung von Anwendungen zu gelangen, die auf Daten in Databricks aufbauen oder von ihnen betrieben werden.
• Migration und Modernisierung: Factory kann Teams dabei helfen, Datenplattform-Migrationen zu Databricks samt der davon abhängigen Anwendungen zu analysieren, zu planen und umzusetzen.
• Cybersicherheit: Factory kann Teams dabei unterstützen, Schwachstellen in Anwendungen zu beheben, die von Databricks Lakewatch überwacht werden.

Verfügbarkeit und Einstieg

Laut Factory können berechtigte Kunden Factory über den Databricks Marketplace erwerben und dafür bis zu 10 Prozent ihres bestehenden Databricks-Commitments einsetzen. Das Unternehmen erwartet, dass viele Unternehmen von einem engeren Zusammenspiel zwischen Daten und der damit betriebenen Software profitieren werden.

Zum Start verbinden Nutzer Databricks in Factory unter Settings → Connectors und führen dann eine Aufgabe aus, etwa den Aufbau einer Automatisierung, die jede Nacht den Workflow Lakehouse-to-Lakebase Sync prüft und eine Fortschrittszusammenfassung im Slack-Kanal des Teams veröffentlicht. Factorys Einrichtungsanleitung behandelt verwaltete MCP-Server, den Betrieb von Droids auf von Databricks bereitgestellten Modellen und Webhook-Automatisierungen. Eine Demo lässt sich über die Website von Factory buchen.

Für Unternehmen, die bereits Databricks nutzen, deutet das Angebot auf einen Weg hin, Anwendungsumstellungen parallel zu Datenmigrationen anzugehen, mit dem Kauf über bestehende Databricks-Ausgaben. Preis- oder Leistungsangaben über die Option mit 10 Prozent des Commitments hinaus nennt die Quelle nicht.