Databricks entwickelt Delta Sharing zu Linux-Foundation-geführtem OpenSharing weiter

Von Live-Tabellen zum umfassenderen KI-Stack

Delta Sharing wurde auf dem Data + AI Summit 2021 vorgestellt. Unternehmen sollten damit Live-Daten mit Partnern, Kunden und anderen Teams teilen können, ohne Dateien zu exportieren, fehleranfällige ETL-Jobs zu erstellen oder die Empfänger zur Nutzung derselben Plattform zu zwingen. Das auf Delta Lake und Parquet basierende offene Protokoll ermöglichte es Empfängern, gemeinsam genutzte Tabellen in Echtzeit über Tools wie Apache Spark, Power BI, Tableau und pandas abzufragen.

Nach Angaben von Databricks entwickelte sich Delta Sharing zum meistgenutzten offenen Protokoll für den sicheren Datenaustausch. Zum Zeitpunkt der Ankündigung von OpenSharing gab es mehr als 28.000 Datenempfänger. Rund ein Drittel der Freigaben lief laut Unternehmen plattformübergreifend über offene Konnektoren und nicht über den Austausch zwischen Databricks-Instanzen.

Databricks zufolge machten die Anforderungen von KI-Teams die Grenzen eines auf Tabellen fokussierten offenen Protokolls deutlich. Teams müssen zunehmend Agentenfähigkeiten, KI-Modelle und den semantischen Kontext teilen, den Agenten neben den zugrunde liegenden Daten verwenden. Außerdem wollen sie in Umgebungen mit Apache Iceberg arbeiten und Daten aus lokalen oder privaten Cloud-Speichern teilen, ohne sie zuvor migrieren zu müssen.

Was sich mit OpenSharing ändert

Databricks und die Linux Foundation haben OpenSharing am 10. Juni 2026 gemeinsam angekündigt. Es besteht aus zwei Ebenen: einem Open-Source-Protokoll samt Spezifikation sowie Databricks OpenSharing, der in Unity Catalog, Databricks Marketplace und Clean Rooms integrierten Unternehmensimplementierung.

Die von Databricks eingebrachte Spezifikation wird unter dem Dach der Linux Foundation AI & Data Foundation entwickelt. Sie steht unter der Apache-2.0-Lizenz und wird auf GitHub gehostet, wo Anbieter und Mitglieder der Community sie unabhängig von Databricks implementieren können. Das ebenfalls als Apache-2.0-Projekt unter der Linux Foundation verwaltete Open-Source-Projekt Unity Catalog stellt eine anbieterneutrale Katalog- und Governance-Schicht bereit, die mit einem offenen Sharing-Server außerhalb von Databricks kombiniert werden kann.

OpenSharing führt eine Hierarchie aus Share, Schema und Asset ein. Neben Tables umfasst die Spezifikation Volumes, also Verzeichnisse mit Dateien in beliebigen Formaten, sowie Agent Skills und KI-Modelle. Damit kann ein Anbieter Tabellen und die darauf basierenden KI-Ressourcen über ein einziges Protokoll bündeln.

Das Protokoll unterstützt außerdem mit dem Apache-Iceberg-REST-Catalog kompatible Clients und erweitert den offenen Datenaustausch damit auf Iceberg-kompatible Engines. Über das Databricks Storage Ecosystem können Speicheranbieter einen direkt mit Unity Catalog verbundenen OpenSharing-Server betreiben. So lassen sich Daten in lokalen oder privaten Cloud-Speichern verwalten und teilen, ohne sie zu migrieren.

Kompatibilität und neue Möglichkeiten zum Teilen

OpenSharing behält den bisherigen Delta-Sharing-Workflow bei. Bestehende Clients und Integrationen bleiben kompatibel, und vorhandene Setups funktionieren weiterhin. Databricks zufolge können Organisationen die neuen Asset-Typen in einem Unity-Catalog-Metastore über denselben Prozess mit Shares, Empfängern und Berechtigungen aktivieren.

Auch das Zero-Copy-Modell bleibt bestehen. Anbieter verschieben Daten nicht, um sie zu teilen. Stattdessen stellt der Sharing-Server zeitlich begrenzte, auf einen bestimmten Zweck beschränkte Zugangsdaten aus, während er außerhalb des Datenpfads bleibt.

Databricks hat auf Basis von OpenSharing mehrere Funktionen eingeführt. Dazu gehört SecureConnect, das allgemein verfügbar ist und einen von Databricks verwalteten Proxy bereitstellt. Dadurch müssen für jeden neuen Empfänger keine Firewall- oder Netzwerkregeln konfiguriert werden. Global Distribution befindet sich in der Private Preview und repliziert gemeinsam genutzte Daten über Regionen und Clouds hinweg näher zu den Empfängern. Genie Agent Sharing ist als Beta verfügbar, während das Teilen von Lakebase-Tabellen und Change-Data-Feeds in der Public Preview ist.

OpenSharing befindet sich derzeit in der Sandbox-Phase der Linux Foundation AI & Data Foundation. Databricks-Mitgründer und CTO Matei Zaharia sagte: „OpenSharing erweitert dieses Prinzip auf den gesamten KI-Stack und baut zugleich das plattformübergreifende Ökosystem auf Empfänger von Iceberg und lokale Anbieter aus.“ Für Nutzer bietet die Änderung eine umfassendere Möglichkeit, verwaltete Daten und KI-Ressourcen zu teilen, ohne bestehende Delta-Sharing-Verbindungen aufzugeben. Für den Markt verlagert sie diese Interoperabilität unter eine offene Spezifikation, statt sie auf eine einzelne Plattform zu beschränken.