Databricks startet Genie Migrate für die Migration klassischer Workloads auf Serverless

Databricks hat Genie Migrate for Serverless als Beta veröffentlicht. Der Agent scannt klassische Jobs und Notebooks, schlägt die für Serverless-Compute erforderlichen Änderungen vor und führt genehmigte Migrationen mit einer 30-tägigen Rückabwicklung durch. Nach Angaben des Unternehmens wird die Migration damit zu einem Prüf- und Freigabeprozess statt zu wochenlanger manueller Fehlersuche.
- Genie Migrate for Serverless ist als Beta verfügbar.
- Der Agent scannt Workloads und zeigt vorgeschlagene Änderungen als prüfbare Diffs.
- Migrationen verwenden geklonte Jobs und bieten eine 30-tägige Rückabwicklung.
- Für die Migration mehrerer Jobs ist Databricks CLI Version 1.24.0 oder höher erforderlich.
- Die Sandbox-Laufzeitvalidierung und die Unterstützung für die Migration mehrerer Notebooks sollen bald folgen.
Ein verwalteter Weg von klassisch zu Serverless
Genie Migrate for Serverless richtet sich an Unternehmen, die noch klassische Compute-Workloads betreiben, aber Databricks Serverless Compute nutzen möchten. Laut Databricks übernimmt Serverless die Bereitstellung, Skalierung und Optimierung und reduziert damit den Infrastrukturaufwand für den Betrieb von Daten- und KI-Workloads.
Der Agent wird über den Slash-Befehl /compute migrate in Genie innerhalb eines beliebigen Jobs oder Notebooks gestartet. Er ist vollständig verwaltet und benötigt für den Scan keine Einrichtung. Nach Angaben von Databricks liest der Agent die Job-Konfiguration und den Workload-Code im eigenen Workspace des Kunden ein. Der Workload-Code bleibt dabei unverändert, sofern eine genehmigte Migration keine Änderung erfordert.
Jede Änderung bewerten, übersetzen und prüfen
Genie Migrate for Serverless scannt zunächst Jobs und Notebooks und bewertet deren Migrationsbereitschaft. Der Agent erkennt Workloads, die für eine Migration geeignet sind, solche, die einen Administrator benötigen, sowie Workloads, die noch nicht bereit sind. Workloads, deren maßgebliche Quelle außerhalb des Workspace liegt, darunter Jobs, die über Databricks Asset Bundles verwaltet werden, oder Notebooks in einem Git-Ordner, können derzeit noch nicht migriert werden.
Bei einem geeigneten Workload erstellt der Agent zunächst einen beschrifteten Diff mit Gegenüberstellung, bevor er Änderungen schreibt. Die vorgeschlagene Übersetzung kann die Zuordnung einer klassischen Cluster-Konfiguration zu Serverless Compute, die Auflösung von Bibliotheken für die Serverless-Runtime, die Erstellung einer Umgebungsdefinition und die Übernahme anwendbarer Spark-Konfigurationen umfassen.
Konfigurationen, die möglicherweise nicht anwendbar sind, werden dem Nutzer zur Entscheidung vorgelegt, anstatt stillschweigend entfernt zu werden. Databricks zufolge kann der Agent außerdem Code-Muster umschreiben, die nicht unter Serverless laufen, darunter mit Spark Connect inkompatible APIs. Diese Änderungen werden im prüfbaren Diff angezeigt.
Vorsichtige Anwendung und Migration in großen Mengen
Vor der Anwendung einer Migration prüft der Agent, ob die Übersetzung schlüssig ist, Bibliotheksabhängigkeiten für die Serverless-Runtime aufgelöst werden können und die Konfiguration sauber angewendet wird. Anschließend übernimmt er die Änderungen in einen geklonten Job, anstatt den laufenden Workload zu unterbrechen. Nutzer können den Klon bei Bedarf ausführen, um seinen Zustand zu prüfen, bevor sie die Migration auf den ursprünglichen Job übertragen.
Databricks weist darauf hin, dass die aktuelle Validierung statisch erfolgt und den Workload nicht ausführt. Eine umfassendere Sandbox-Validierung soll folgen. Sie ermöglicht es, einen migrierten Workload in einer isolierten Umgebung auszuführen und seine Ausgabe mit einer klassischen Referenz zu vergleichen. Das Unternehmen warnt zudem, dass ein Rollback keine Daten rückgängig macht, die ein Testlauf mit geänderten Versionen in Produktionstabellen geschrieben hat.
Für größere Flotten kann die Databricks CLI über die Befehlsgruppe compute-migrations Migrationen für mehrere Jobs starten. Der Agent erstellt Serverless-Arbeitskopien, ohne dass eine offene Genie-Sitzung erforderlich ist. Der ursprüngliche Job bleibt bis zur Freigabe unverändert. Die Migration mehrerer Jobs wird bereits unterstützt, die Unterstützung für Notebooks soll bald folgen. Voraussetzung ist Databricks CLI Version 1.24.0 oder höher. Genehmigte Migrationen behalten die ID, den Zeitplan und die Berechtigungen des Jobs.
Was das für Databricks-Nutzer bedeutet
Genie Migrate for Serverless zielt auf die Übersetzungsarbeit, die den Umstieg von Workloads häufig erschwert. Dazu gehören Inkompatibilitäten bei Zugriffsmodi, Unterschiede bei Spark-Konfigurationen und die Auflösung von Bibliotheken. Prüfbare Diffs, geklonte Jobs und der reversible Ablauf geben Teams Kontrolle über die Änderungen, bevor eine Migration in die Produktion freigegeben wird.
Das Tool ist als Beta verfügbar. Databricks zufolge können Nutzer noch heute starten. Die aktuellen Einschränkungen, darunter Workloads aus externen Quellen sowie die statische statt Laufzeit-Validierung, bedeuten jedoch, dass Teams vorgeschlagene Änderungen weiterhin prüfen und migrierte Läufe überwachen müssen.
Databricks: Introducing Genie Migrate for Serverless


