Confluent stellt Streamhouse-Architektur für KI-Entscheidungen vor
Confluent hat Streamhouse vorgestellt, eine Datenarchitektur, die Geschäftszustand und Kontext in verteilten Systemen aktuell halten soll, während KI-Agenten zunehmend autonome Entscheidungen treffen. Nach Angaben des Unternehmens soll der Ansatz Anwendungen, Agenten und Analysen mit wiederverwendbaren Informationen versorgen, sodass nicht jedes System sein eigenes Verständnis neu aufbauen muss.
- Confluent hat das Konzept der Streamhouse-Datenarchitektur vorgestellt.
- Sie soll den aktuellen Geschäftszustand und Kontext in verteilten Systemen pflegen.
- Die Architektur hat drei Anforderungen: Always Current, Decentralized und Mission Critical.
- Streamhouse soll Anwendungen, KI-Agenten und Analysen unterstützen.
- Der Ansatz ergänzt operative Systeme, Data Warehouses und Lakehouses.
Warum aktuelle Daten laut Confluent wichtig sind
Confluent ordnet Streamhouse in einen Wandel bei der Softwarenutzung in Unternehmen ein. Generative KI habe zunächst dabei geholfen, Entwürfe und Zusammenfassungen zu erstellen, sei aber zunehmend dazu übergegangen, Code zu schreiben, komplexe Aufgaben auszuführen und Entscheidungen mit weniger menschlicher Beteiligung zu treffen, erklärt das Unternehmen. Menschen könnten weiterhin Richtung und Grenzen vorgeben, während Entscheidungen mit Maschinengeschwindigkeit getroffen werden.
Diese Geschwindigkeit wird zum Problem, wenn die Datenarchitektur eines Unternehmens vor allem die Vergangenheit beschreibt. Eine veraltete Antwort aus einem Bericht oder Dashboard kann von einer Person korrigiert werden. Wenn ein KI-Agent jedoch auf Grundlage eines ungenauen oder veralteten Verständnisses handelt, kann das Ergebnis eine falsche Aktion sein. Confluent argumentiert daher, dass Unternehmen ihren sich verändernden Zustand laufend pflegen müssen, und zwar mit ausreichend Kontext und Zuverlässigkeit, damit Software darauf basierend handeln kann.
Die drei Anforderungen an ein Streamhouse
Confluent definiert ein Streamhouse als eine Datenarchitektur, die den „aktuellen Geschäftszustand und Kontext über verteilte Systeme hinweg kontinuierlich erfasst, verarbeitet, verwaltet und bereitstellt“ und diese Informationen für Anwendungen, KI-Agenten und Analysen verfügbar macht.
Die Architektur umfasst drei Anforderungen. Always Current bedeutet, auf Grundlage der Historie aufzubauen und den Zustand anschließend laufend zu aktualisieren, wobei die Möglichkeit erhalten bleibt, Ergebnisse erneut abzuspielen, zu korrigieren und neu zu berechnen. Decentralized bedeutet, dass operative und analytische Systeme ihre jeweiligen Aufgaben behalten, während sie Zustand und dessen Bedeutung gemeinsam nutzen, ohne ihn zunächst auf einer einzigen physischen Plattform zu konsolidieren. Mission Critical bedeutet, dass Informationen für Produktionsentscheidungen angemessene Anforderungen an Korrektheit, Verfügbarkeit, Sicherheit, Wiederherstellung und Nachvollziehbarkeit erfüllen müssen.
Das vorgeschlagene Modell verbindet bekannte Technologien. Konnektoren erfassen operative Änderungen und historische Daten, ein Event-Backbone macht diese Änderungen für Verarbeitung und Wiederholung verfügbar, und zustandsbehaftete Verarbeitung hält nutzbare Darstellungen des Geschäftszustands aktuell. Semantische Modelle verknüpfen Definitionen und Beziehungen, Governance und Datenherkunft sorgen für Kontrolle, und Bereitstellungssysteme stellen die Ergebnisse über Streams, Abfragen, APIs sowie operative oder analytische Tabellen bereit.
Ein gemeinsames Verständnis über bestehende Systeme hinweg
Streamhouse schreibt keinen bestimmten Technologie-Stack vor. Confluent nennt Kafka Connect und verwaltete Datenreplikationsdienste zur Erfassung von Änderungen, Apache Kafka und Apache Pulsar für deren Transport, Apache Flink und materialisierte Datenbankansichten für die Transformation sowie PostgreSQL oder offene Apache-Iceberg-Tabellen zur Bereitstellung des gepflegten Zustands. Nach Angaben des Unternehmens sind damit Abwägungen zwischen Latenz, Konsistenz, Wiederholung, Kosten und betrieblicher Komplexität verbunden.
Die Architektur soll bestehende Systeme ergänzen, nicht ersetzen. Operative Anwendungen und Datenbanken bleiben dafür verantwortlich, Transaktionen zu autorisieren und zu bestätigen. Data Warehouses und Lakehouses unterstützen weiterhin historische Analysen, Exploration und das Training von Modellen.
Für Nutzer dieser Systeme liegt der vorgeschlagene Vorteil in einem wiederverwendbaren Geschäftszustand und Kontext, der als Streams, Abfragen des aktuellen Zustands oder Tabellen genutzt werden kann. Confluent zufolge kann dies den Bedarf verringern, dass nachgelagerte Anwendungen, analytische Pipelines und KI-Agenten dieselben Definitionen und Berechnungen unabhängig voneinander neu erstellen. Das Unternehmen verspricht keine perfekt synchronisierte globale Version des „Jetzt“, will aber widersprüchliche Interpretationen reduzieren, indem gepflegter Zustand und Kontext innerhalb eines verteilten Unternehmens gemeinsam genutzt werden.
