Databricks: Verwalteter Kontext steigert die Genauigkeit von Genie One auf 95 %

Laut Databricks erreichte Genie One bei 125 Fragen eine Genauigkeit von 93, 95 %, wenn kuratierte Genie Agents mit verwaltetem Geschäftskontext in Unity Catalog kombiniert wurden. Die Studie des Unternehmens ergab, dass Agents und verwaltete Daten unterschiedliche Fragetypen abdecken. Zusammen liefern sie daher zuverlässigere Ergebnisse als jeweils allein.
- Genie One erreichte mit kuratierten Agents und verwaltetem Kontext 93, 95 %.
- Die Tabellen allein erreichten im Versicherungstest 64 %.
- Kuratierte Agents und die verwaltete Ebene erreichten einzeln jeweils 83 %.
- Die Aktualisierung einer Metric View und Page veränderte 12 zugehörige Antworten.
- Die Genauigkeit beim Einzelhändler stieg mit der verwalteten Ebene von 54 % auf 82 %.
Verwaltete Definitionen und Agents lösen unterschiedliche Probleme
Databricks testete Genie One anhand eines fiktiven Versicherers für gewerbliche Kfz-Versicherungen und vier Agents für Finance, Reserving, Underwriting und Claims. Alle vier nutzten dieselben zugrunde liegenden Tabellen, verfügten aber jeweils über eigene Teamdefinitionen, Beispielabfragen und Dokumente.
Die Nutzung der Tabellen allein führte zu einer Genauigkeit von 64 %. Die kuratierten Agents erreichten 83 %, ebenso wie die verwaltete Ebene ohne Agents. Wurden beide zusammen eingesetzt, stieg die Genauigkeit in zwei Durchläufen auf 93, 95 %. Bei Fragen zur Schadenquote erreichte die kombinierte Konfiguration laut Databricks ebenfalls 93 %, bei Fragen, die sowohl Dokumente als auch strukturierte Daten erforderten, waren es 97 %.
Nach Angaben des Unternehmens verbesserten kuratierte Agents die Antworten auf Basis unstrukturierter Dokumente. Metric Views, Domains, Subdomains und Pages verbesserten dagegen Antworten, die von Geschäftsdefinitionen abhingen. Für sich genommen reichte keine der beiden Komponenten aus, um beide Anforderungen abzudecken.
Warum derselbe Geschäftsbegriff zu unterschiedlichen Antworten führen kann
Databricks nutzte die Schadenquote, um das Problem zu veranschaulichen. Beim fiktiven Versicherer meldete Finance zwischen 2024 und 2025 eine Verschlechterung um 8.2 Prozentpunkte, während Underwriting eine Verbesserung um 1.5 Prozentpunkte auswies. Beide Antworten waren korrekt, weil die Teams unterschiedliche Definitionen verwendeten.
Finance maß das Kalenderjahr nach Rückversicherung. Dadurch erschien eine ungünstige Entwicklung der Rückstellungen für einen älteren Schaden in den aktuellen Zahlen. Underwriting nutzte das Versicherungsjahr, vor Rückversicherung und ohne Katastrophenschäden, weil diese Kennzahl zur Festlegung der Tarife diente. Reserving stützte sich auf eine dritte Kennzahl, die endgültige Schadenquote des Unfalljahres.
Databricks zufolge kann SQL korrekt sein und dennoch eine Antwort liefern, die für die fragende Person keinen Sinn ergibt. Die Herausforderung besteht darin, die richtige Geschäftsdefinition auszuwählen und zugleich gemeinsame Fakten, etwa die Gesamtzahl der abgeschlossenen Policen, konsistent zu halten.
Was Genie Ontology zu Genie One beiträgt
Genie One, unterstützt durch Genie Ontology, kombiniert Wissen aus bestehenden Dashboards, Abfragen, Notebooks und semantischen Modellen mit ausdrücklich verwalteten Konzepten in Unity Catalog. Databricks bezeichnet das erlernte Material als Ontology Snippets, während das modellierte Wissen die „verwaltete Ebene“ bildet.
Diese Ebene umfasste zertifizierte Metric Views, Domains und Subdomains sowie Pages mit kurzen Erläuterungen zu Geschäftsbegriffen und Links zu den beschriebenen Tabellen und Metric Views. Databricks zufolge können Teams auf Wissen aufbauen, das bereits in bestehenden Assets erfasst ist, statt jedes Konzept im Voraus zu modellieren.
Die Studie untersuchte außerdem, ob sich eine Definition konsistent aktualisieren lässt. Die Aktualisierung einer Metric View und ihrer Page verschob alle 12 zugehörigen Genie-One-Antworten auf die neue Definition, ohne Änderungen an den Agents. Databricks wiederholte den Vergleich mit einem fiktiven Einzelhändler. Dort stieg die Genauigkeit durch das Hinzufügen der verwalteten Ebene zu den kuratierten Agents von 54 % auf 82 %.
Warum Routing für Unternehmenskunden wichtig ist
Genie One übernimmt die Anweisungen eines Agents nicht automatisch, sofern es die Frage nicht an diesen Agent weiterleitet. Beantwortet das System die Frage mit seinem eigenen Kontext, kann ein sorgfältig kuratierter Agent wenig beitragen. Genie One kann stattdessen verwaltete Unity Catalog Semantics verwenden, die Frage an einen passenden Genie Agent weiterleiten oder den Workspace durchsuchen, wenn es keine geeignete Übereinstimmung findet.
Für Nutzer legen die Erkenntnisse von Databricks nahe, dass zuverlässige Antworten sowohl maßgebliche Definitionen als auch Zugriff auf relevante Dokumente erfordern. Die Studie spricht dafür, bei Begriffen mit mehreren gültigen Bedeutungen verwalteten Geschäftskontext einzusetzen. Kuratierte Agents bleiben wichtig, wenn Antworten von PDFs und anderen unstrukturierten Daten abhängen.
Databricks: Genie One Accuracy: Why Curated Agents Need Governed Context


