Databricks: Genie übertrifft Frontier-Agenten bei Aufgaben mit Unternehmensdaten
Laut Databricks erreichte der Datenagent Genie in einem neuen Unternehmens-Benchmark eine Bestehensquote von 91 Prozent, verglichen mit 45 Prozent und 58 Prozent bei zwei Frontier-Agenten. Genie benötigte außerdem weniger als halb so viele Token und erledigte die Aufgaben drei- bis viermal schneller, so das Unternehmen.
- Genie erreichte im Benchmark von Databricks eine Bestehensquote von 91,0 Prozent.
- Agent A und Agent B erzielten Bestehensquoten von 45,0 Prozent und 58,0 Prozent.
- Genie benötigte durchschnittlich 431.829 Token pro Durchlauf, weniger als die Hälfte der Nutzung beider Agenten.
- Der Benchmark umfasste neben Tabellen auch Unternehmensressourcen wie Notebooks und Dashboards.
- Databricks führt die Ergebnisse von Genie auf den durch Genie Ontology erschlossenen Geschäftskontext zurück.
Benchmark testet Agenten in einem Live-Workspace
Databricks entwickelte den Benchmark gemeinsam mit Turing, um Geschäftsfragen in einem aktiven Databricks-Workspace zu bewerten. Der Test maß drei Faktoren: Antwortgenauigkeit, Token-Nutzung und die für jede Aufgabe benötigte Zeit.
Für den Benchmark kam ein fiktiver britischer Strom- und Gasversorger namens Calderwick Energy zum Einsatz. Sein Workspace umfasste Hunderte Tabellen, von denen die größte rund 120 Millionen Zeilen mit halbstündlichen Zählerdaten enthielt. Außerdem waren Notebooks, geplante Jobs, Dashboards, gespeicherte SQL-Abfragen, Code, Metriken, Dokumente und Genie Agents enthalten.
Databricks zufolge sollte die Umgebung die Unordnung der Datenarbeit in Unternehmen abbilden. Dazu gehörten kopierte Notebooks, aufgegebene Analysen, alte Dokumente, Entwicklungskopien, eingefrorene Berichtstabellen und Dashboards, die seit Monaten nicht mehr angerührt worden waren. Die Agenten führten jede Aufgabe 5-mal im selben Workspace aus.
Genie lag bei Genauigkeit, Geschwindigkeit und Token-Nutzung vorn
Genie erreichte eine Bestehensquote von 91,0 Prozent, verglichen mit 45,0 Prozent für Frontier Agent A und 58,0 Prozent für Frontier Agent B. Seine durchschnittliche Dauer pro Durchlauf betrug 100,3, verglichen mit 434,6 bei Agent A und 306,5 bei Agent B.
Genie benötigte außerdem durchschnittlich 431.829 Token pro Durchlauf. Agent A verwendete 889.019 und Agent B 1.051.070. Databricks zufolge war Genie 4-mal schneller als Agent A und 3-mal schneller als Agent B und nutzte im Durchschnitt weniger als halb so viele Token.
Für die Bewertung lief Genie nativ. Die anderen Agenten waren über ein Databricks-Toolset angebunden, das Genie MCP ausschloss, da die Agenten dadurch Zugriff auf die getesteten Genie-Funktionen erhalten hätten. Alle Agenten bekamen dieselben Fragen. Die Antworten wurden anhand eines kalibrierten Bewertungsrasters mit vorab festgelegten Grenzen für zulässige numerische Abweichungen beurteilt.
Warum der Unternehmenskontext die Ergebnisse veränderte
Databricks führt die Leistung von Genie auf Geschäftskontext zurück, den Genie Ontology extrahiert. Das Unternehmen beschreibt Genie Ontology als eine Kontextschicht für Unternehmen, die Wissen aus Ressourcen wie Notebooks, Dashboards und gespeicherten SQL-Abfragen automatisch extrahiert und strukturiert.
Databricks argumentiert, dass Tabellenschemata allein häufig nicht ausreichen, um die Definitionen und Berechnungsregeln zu bestimmen, die für die Beantwortung geschäftlicher Fragen erforderlich sind. Diese Regeln können in einem Notebook dokumentiert, im SQL-Code hinter einem Dashboard eingebettet oder in einer gespeicherten Abfrage enthalten sein.
Bei einer Benchmark-Aufgabe sollten die Agenten den historischen Commercial-Planungstarif von Calderwick Energy für FY24/25 ermitteln. Die Tabelle wies 0,31 Pence pro kWh aus. In einem Quell-Notebook war der historische Tarif jedoch mit 0,52 p/kWh dokumentiert. Dort wurde erklärt, dass die Tabelle für frühere Abrechnungszeiträume Annahmen für FY25/26 verwendete. Databricks zufolge stellte Genie Ontology die relevanten historischen Informationen heraus und verknüpfte sie mit dem Quell-Notebook. Dadurch gab Genie in allen 5 Durchläufen bereits in der ersten Antwort 0,52 p/kWh zurück.
Databricks zufolge können Teams den Benchmark in ihrem eigenen Workspace wiederholen, indem sie ihr Account-Team kontaktieren. Für weitere Informationen zu Genie Ontology verweist das Unternehmen außerdem auf seinen Blogbeitrag zur GA-Ankündigung und die offizielle Dokumentation.
