Data Culture steigert Genauigkeit eines KI-Analyse-Agenten durch zusätzlichen Kontext von 0 auf 94,7 Prozent

Warum das Team ein Evaluations-Framework entwickelte

Die ersten fünf Jahre widmete sich Data Culture klassischen Projekten rund um den Modern Data Stack, darunter Datenmodellierung, BI-Migrationen und Plattformmigrationen. Im vergangenen Jahr verlagerte sich die Nachfrage der Kunden laut Unternehmen hin zur Operationalisierung von Workflows mit KI und dazu, dass Stakeholder per Chat mit ihren Daten arbeiten können. Das veranlasste das Team, eine eigene Methodik, ein eigenes Evaluations-Framework und ein Playbook für agentische Analytics zu entwickeln. Eingesetzt hat es diese bei zwei produktiven Kunden: einem Gesundheitsdienstleister, der Analysen für den klinischen Betrieb aufbaut, und einem E-Commerce-Händler, der Produkt- und Verkaufsanalysen entwickelt.

Auslöser war eine Frage, die das Team beim ersten Kundeneinsatz nicht beantworten konnte: Wie genau ist dieser Agent? Es hatte für eine Gruppe von Testnutzern einen Agenten an einen Snowflake-MCP-Server angebunden, konnte aber keine Zahl nennen, nicht einmal eine grobe.

Das Problem betrifft nicht nur Data Culture. Der State-of-Analytics-Engineering-Report 2026 von dbt Labs kam zu dem Ergebnis, dass Vertrauen für Teams, die KI-Agenten für Stakeholder bereitstellen, das wichtigste Anliegen bleibt. Dem Report zufolge sorgten sich 71 Prozent der Befragten, dass halluzinierte oder falsche Daten bei Entscheidern ankommen, und 83 Prozent nannten Vertrauen eine organisatorische Top-Priorität.

Fabiyi übernahm den Begriff Evaluation-Driven Development aus Chip Huyens Buch AI Engineering und verdichtete ihn zu einer Regel: Liefere nichts aus, was du nicht messen kannst.

Drei Schritte: Korrektheit definieren, Ergebnisse vergleichen, Prüfungen schichten

Eine frühe, schlanke Evaluations-Pipeline zeigte, dass mehrere vermeintliche Fehler rein kosmetischer Natur waren. In einem Fall lieferte der Agent die richtigen monatlichen Bruttoumsätze, aber unter einem anders benannten Spaltennamen. In einem anderen gab er die richtigen drei Produktkategorien zurück, dazu eine vierte Zeile mit legitimen, nicht kategorisierten Produkten. Im dritten Fall fügte er eine zusätzliche Hilfsspalte hinzu. Ein naiver Vergleich auf exakte Übereinstimmung wertete alle drei als falsch, obwohl die Antworten korrekt waren.

Das daraus entstandene Framework umfasst drei Schritte:

• Definieren, was korrekt bedeutet. Teams formulieren „Golden Questions“, die so präzise sind, dass zwei Analysten dasselbe SQL schreiben würden, und lassen die erwartete Antwort von einem Fachexperten validieren.
• Definieren, wie Ergebnisse verglichen werden. Der Vergleich betrachtet die Ergebnisse einer Abfrage, nicht die Abfrage selbst, da unterschiedliche SQL-Statements dieselbe Antwort liefern können. Data Culture baute eine vierstufige Kaskade: exakte Übereinstimmung, reiner Wertevergleich ohne Beachtung der Spaltennamen, Vergleich überlappender Spalten, der zusätzliche Kontextspalten toleriert, und ein näherungsweiser numerischer Abgleich, der Rundungen toleriert.
• Geschichtete Evaluationslogik aufbauen. Eine deterministische Schicht deckt rund 80 Prozent der Golden Questions mit schnellen, kostenlosen und reproduzierbaren Vergleichen ab. Für die übrigen 20 Prozent fungiert ein Large Language Model als Richter und bewertet Fundiertheit, Relevanz für die Frage und Umfang der Antwort.

Was die Genauigkeit verbesserte

Mit dem Framework führte das Team kontrollierte Experimente durch, bei denen in jedem Schritt dieselben Golden Questions und dasselbe Modell zum Einsatz kamen. Beim E-Commerce-Einsatz stieg die Genauigkeit wie folgt:

• 0 Prozent ohne semantischen Kontext
• 50 Prozent, nachdem der Agent auf modellierte dbt-Tabellen statt auf Rohdaten zugriff
• 52,6 Prozent nach dem Hinzufügen von Spaltenbeschreibungen
• 78,9 Prozent nach dem Hinzufügen von Geschäftsregeln und Standardfiltern
• 94,7 Prozent nach dem Hinzufügen verifizierter Abfragen und benannter Metriken

Der Einsatz im Gesundheitswesen folgte einer ähnlichen Kurve. Er begann bei 0 Prozent auf Rohdaten und überschritt schließlich die interne Produktionsschwelle von 90 Prozent bei Data Culture, nachdem Geschäftsregeln und verifizierte Abfragen ergänzt worden waren. In beiden Fällen stammten die Zugewinne vollständig aus zusätzlichem Kontext, nicht aus einem Modellwechsel.

Fabiyi verwies zudem auf einen von Anthropic veröffentlichten Bericht, in dem die Genauigkeit eines Agenten von 21 auf 95 Prozent stieg, nachdem eine kuratierte Datengrundlage und ein Offline-Validierungsschritt aufgebaut worden waren.

Was das für Datenteams bedeutet

Fabiyi argumentierte, dass die modellierten Tabellen und der semantische Kontext eines dbt-Projekts das dauerhafte Asset jeder agentischen Analytics-Lösung seien, während sich der Agent oder die LLM-Schicht darunter später austauschen lasse. Für Teams, die abwägen, ob ein Agent reif für Stakeholder ist, legen die Ergebnisse nahe: Nicht allein die Wahl des Modells, sondern ein messbarer Benchmark macht es überhaupt möglich, die Frage nach der Genauigkeit zu beantworten.

Data Culture hat seine Evaluations-Pipeline, Vorlagen für Golden Questions, die Vergleichslogik sowie eine technische Anleitung unter github.com/datacult/dbt-agent-trust als Open Source veröffentlicht. Die Sessions des dbt Summit 2026 sind auf Abruf verfügbar.