Databricks AI Search indexiert jetzt Streaming Tables, Materialized Views und Iceberg

Drei neue Quellen für AI Search

Databricks zufolge unterstützt AI Search jetzt neben Delta-Tabellen nativ drei weitere Tabellentypen: Streaming Tables, Materialized Views und Managed Tables mit Iceberg v3+. Das Unternehmen sieht die Neuerung als Grundlage für Echtzeit-Intelligenz, personalisierte Erlebnisse und engine-übergreifende KI-Anwendungen.

Jede Quelle deckt laut Unternehmen eine andere Art von Workload ab:

• Delta-Tabellen (bereits unterstützt): Daten- und Analyse-Workloads mit einem breiten Spektrum an Analytics- und KI-Anwendungen.
• Streaming Tables: kontinuierlich eintreffende Ereignisse, etwa für Betrugserkennung, Security-Monitoring und IoT-Analysen in Echtzeit.
• Materialized Views: individuell aggregierte und verknüpfte Daten für Personalisierung, sitzungsbezogene Suche und Agent Assist.
• Managed Tables mit Iceberg: Daten in offenem Format über verschiedene Engines hinweg, für engine-übergreifende Agenten, einheitliche Wissenssuche und Data Intelligence auf offenen Formaten.

So wird jede Quelle genutzt

Bei Streaming Tables beschreibt Databricks kontinuierlich veränderliche Daten wie neue Angebote, Bestände, Verfügbarkeiten und Nutzeraktivitäten, die in eine Append-only-Tabelle fließen. AI Search indexiert neue Datensätze, sobald sie eintreffen, und hält den Suchindex aktuell. Als Beispiele nennt das Unternehmen, Nutzern über eine Suchleiste neu verfügbare Restaurants zu zeigen oder Empfehlungen in Echtzeit auf Basis aktueller Trends zu erzeugen.

Materialized Views können Ereignisse aggregieren, Datensätze filtern und Daten aus mehreren Quellen verknüpfen, um einen maßgeschneiderten Zustand aufzubauen. Ändern sich die zugrunde liegenden Daten, wird die View inkrementell gepflegt, und AI Search gibt diese Änderungen an den Index weiter. Databricks zufolge ermöglicht das sitzungsbezogene Empfehlungen, die Entdeckung von Produkten und Inhalten anhand der jüngsten Aktivität sowie Ergebnisse, die sich an die sich wandelnden Interessen und Vorlieben eines Nutzers anpassen.

Managed-Iceberg-Tabellen können direkt als AI-Search-Quellen dienen, ohne Konvertierung oder Migration in ein anderes Tabellenformat. Das erlaube die Suche über Produktkataloge, die von unterschiedlichen Systemen verwaltet werden, einheitliche Geschäfts- oder Kundendaten über Managed-Iceberg-Tabellen hinweg und die Suche in großen, verteilten Datensätzen, ohne die zugrunde liegenden Daten zu verschieben, so Databricks.

Keine zwischengeschaltete Delta-Schicht mehr

Vor diesem Update mussten Kunden eine separate Delta-Repräsentation von Streaming Tables, Materialized Views oder Managed-Iceberg-Tabellen anlegen und Pipelines aufbauen, um sie mit der Quelle synchron zu halten. Laut Databricks bedeutete das eine zusätzliche Datenschicht, eigene Update-Logik und dauerhaften Betriebsaufwand.

Jetzt verbindet sich AI Search direkt mit diesen Quellen. Nutzer erstellen aus der Quelle einen Index und synchronisieren ihn bei Bedarf, AI Search gibt die Änderungen an den Index weiter. Databricks zufolge entfallen damit die zwischengeschaltete Delta-Tabelle und die selbst gebaute Synchronisations-Pipeline, die Plattform übernimmt die Infrastruktur im Hintergrund.

Gleicher Workflow, mehr Daten

Die Einrichtung bleibt gleich, egal ob Nutzer in der Oberfläche oder über die API arbeiten. Ein AI-Search-Index entsteht nach dem Workflow, der schon für Delta-Tabellen gilt: einen Delta-Sync-Index anlegen und auf die Quelltabelle verweisen. Databricks zufolge gilt derselbe Workflow nun auch für Streaming Tables, Materialized Views und Iceberg-Tabellen, es gibt also nichts Neues zu lernen.

Für Teams, die AI Search bereits auf Delta-Tabellen betreiben, legt die Ankündigung nahe, dass sie Ereignisströme, vorberechnete personalisierte Zustände und Daten in offenen Formaten ohne zusätzlichen Pipeline-Aufwand in die Suche einbinden können. Details stehen in der AI-Search-Dokumentation, auf die Databricks verweist.