dbt Labs: Semantic Layer steigert Genauigkeit von KI-Analysten im Benchmark auf 96 bis 100 Prozent
Ein Modell, das Fragen über einen Semantic Layer beantwortete, erzielte in einem Benchmark von dbt Labs eine Genauigkeit von 96 bis 100 Prozent. Schrieb es dagegen rohes SQL direkt gegen ein Datenbankschema, waren es 80 bis 91 Prozent. Das geht aus einer Session beim dbt Summit 2026 hervor. Alex Noonan, Senior Developer Experience Advocate bei dbt Labs, präsentierte das Ergebnis als Beleg dafür, dass erst die Verankerung im Geschäftskontext (Grounding) KI-Analysten zuverlässig macht.
- Ein Benchmark von dbt Labs zeigt: Ein Modell erreichte über einen Semantic Layer 96 bis 100 Prozent Genauigkeit, mit rohem SQL nur 80 bis 91 Prozent.
- Alex Noonan nannte drei Ansätze fürs Grounding: Semantic Layer, Modell im Ontologie-Stil und Agent Context Layer.
- Er riet dazu, den Chat des KI-Analysten in öffentlichen Kanälen wie Slack zu betreiben, und warnte davor, sich zu sehr auf „LLM as judge“ zu verlassen.
- Rund die Hälfte der dbt-Nutzer im State-of-Analytics-Engineering-Report arbeitet auf konversationelle Analytics hin.
Der Benchmark und die Argumentation dahinter
Noonan nutzte seine Session beim dbt Summit 2026, um die lange Geschichte gescheiterter Self-Service-Analytics nachzuzeichnen. Er begann bei einem natürlichsprachigen Abfragesystem für Mondgestein aus dem Jahr 1971, ging über die OLAP-Cubes der 1990er-Jahre und behandelte eine Reihe jüngerer BI-Funktionen mit natürlicher Sprache, die sich nie wirklich durchgesetzt haben.
Warum der aktuelle Anlauf anders ausfallen soll, begründet er so: Große Sprachmodelle hätten die Hälfte des Problems gelöst, nämlich der Maschine die eigene Sprache beizubringen. Offen sei das Grounding, also der Maschine zu vermitteln, was diese Begriffe in einem konkreten Unternehmen tatsächlich bedeuten.
Der Benchmark stammt vom Developer-Experience-Team von dbt Labs selbst. Dasselbe Modell erreichte eine Genauigkeit von 96 bis 100 Prozent, wenn es über einen Semantic Layer antwortete, und 80 bis 91 Prozent, wenn es rohes SQL direkt gegen ein Datenbankschema schrieb. Noonan formulierte den Abstand unverblümt: Jeder Punkt Unterschied sei eine selbstsicher falsche Zahl, die in jemandes Slack-Kanal landet.
Drei Wege, einen KI-Analysten zu verankern
Noonan beschrieb drei Ansätze, die zunehmend zusammenlaufen und mit denen Teams einem KI-Analysten Kontext geben:
- Ein Semantic Layer mit vordefinierten Metriken.
- Ein Modell im Ontologie-Stil aus Entitäten und Beziehungen, nach dem Vorbild von Palantir.
- Ein Agent Context Layer, der relevanten Kontext erst zum Zeitpunkt der Abfrage zusammenstellt. Dies sei die Richtung, in die Fivetran und dbt gemeinsam arbeiteten, so Noonan.
Zudem unterschied er beim Context Engineering zwei Arten: „Just in time“-Kontext sind stabile Metadaten wie ein Semantic Layer oder Agent Skills, die sich kaum ändern. „Just in case“-Kontext ist die Suchinfrastruktur, die für umfangreiche unstrukturierte Quellen wie Gesprächsprotokolle und Support-Tickets nötig ist.
Grundlagen und Vertrauen
Der Großteil des Vortrags drehte sich laut dbt Labs um das, was Noonan die unglamourösen Grundlagen nannte, die eine Demo von einem dauerhaft tragfähigen System trennen. Dazu zählen Datenqualität und Observability, etwa durch Tests, Aktualitätsprüfungen und Anomalieerkennung, Dokumentation, die ebenso für Maschinen wie für Menschen geschrieben ist, sowie eine konsistente Datenmodellierung.
Beim Thema Vertrauen empfahl Noonan, die Chat-Oberfläche in einem öffentlichen Kanal wie Slack zu betreiben, damit Fehler und Korrekturen sichtbar passieren und nicht in einem privaten Thread. Außerdem warnte er davor, sich zu stark auf die Bewertung mit „LLM as judge“ zu verlassen, weil ein Bewertungsmodell dieselben blinden Flecken habe wie das Modell, das es beurteilt.
Zwei Sätze wiederholte er: „the worst thing that you can do is give somebody a confidently wrong answer“ („Das Schlimmste, was man tun kann, ist, jemandem eine selbstsicher falsche Antwort zu geben“) und „silent failures are the killer in any IT system“ („Stille Fehler sind in jedem IT-System der Killer“).
Verbreitung und Folgen für Datenteams
Noonan nannte eine Zahl, wonach etwa die Hälfte der Pilotprojekte mit generativer KI nach dem Proof of Concept eingestellt wird. Außerdem verwies er auf den diesjährigen State-of-Analytics-Engineering-Report, in dem rund die Hälfte der dbt-Nutzer angab, aktiv auf konversationelle Analytics hinzuarbeiten.
Für Datenteams lautet die Botschaft der Session: Die Genauigkeit hängt weniger vom Modell allein ab als vom Kontext, der es umgibt. Definierte Metriken, getestete und dokumentierte Daten sowie sichtbare Fehlerkorrektur gelten als Grundlage für den Schritt vom Pilotprojekt in die Produktion. Der Benchmark stammt von dbt Labs selbst, zur Methodik macht die Quelle keine näheren Angaben.
Zum Abschluss zeigte Noonan live einen persönlichen KI-Trading-Assistenten, der auf dem MCP-Server von dbt aufbaut und SEC-Meldungen sowie technische Indikatoren abruft. Er merkte an, dass ein vom Assistenten empfohlener Trade am Tag vor seinem Vortrag mit Gewinn geschlossen worden sei. Sessions vom dbt Summit 2026 sind on demand verfügbar.
