KOHO baut Claude-Analysetool KoDa auf jahrelanger dbt-Governance auf

Was KoDa leistet und wie es aufgebaut ist

KOHO ist ein kanadisches Fintech mit rund 250 Beschäftigten und befindet sich derzeit in Phase zwei von drei auf dem Weg zu einer kanadischen Banklizenz. Mehr als 10 Prozent der Belegschaft sind Datenfachleute. In einer Session beim dbt Summit 2026, die dbt Labs zusammengefasst hat, stellten Célia Bru, Senior Director of Data, und Gabriel Gambacorta, Technical Product Manager, KoDa vor, das Self-Service-Analysetool des Unternehmens.

Mitarbeitende stellen ihre Fragen in Claude, die Antworten stammen aus einem governten dbt-Data-Mart auf Redshift, wobei Bedrock und Claude die LLM-Schicht bilden. Gambacorta erklärte, KoDa sei ein „KoDa-Skill“: Markdown-Dateien plus MCP-Aufrufe vor und nach der Ausführung, bereitgestellt über Claude Code und über einen Redshift-MCP-Server mit den dbt-Marts verbunden.

Bru sagte, die wesentlichen Bausteine hätten bereits existiert: ein sauberer dbt-Mart, ein produktionsreifes Warehouse und ein unternehmensweit verfügbares LLM. Gefehlt habe die sichere und steuerbare Verbindung zwischen ihnen.

Gestaltungsgrenzen und die Governance dahinter

Das Team legte für KoDa klare Designprinzipien fest:

• Das Tool ist ausschließlich auf Analyse-Anwendungsfälle beschränkt, ohne Debugging oder die Untersuchung einzelner Transaktionen.
• Es greift nur auf zertifizierte dbt-Mart-Modelle zu, ohne Rohdaten und ohne personenbezogene Daten (PII).
• Es ist schreibgeschützt und kann nichts ins Warehouse zurückschreiben.
• Alle Mitarbeitenden erhalten dieselbe, einheitliche Erfahrung.
• Jede Antwort lässt sich auf dieselben unternehmensweiten dbt-Definitionen zurückführen.
• Es läuft auf bereits vorhandener Infrastruktur von KOHO, nicht auf neuen Tools externer Anbieter.

Bru sagte, nichts davon wäre ohne frühere Arbeit möglich gewesen. Sie beschrieb eine „Schiedsrichterposition“ des Datenteams: Es verantworte die Grundlagen einer Entscheidung, aber nicht die Entscheidung selbst, und es verantworte die Metrikdefinitionen, damit kein Team selbst bestimmt, was als Erfolg zählt. Dieser Ansatz führte dazu, dass KOHO 2022 seine gesamte Pipeline verwarf und in dbt neu aufbaute. Der Neuaufbau umfasst inzwischen rund 1.400 Modelle mit Tests und Dokumentation, wobei sämtliche PII entfernt wurden.

Weil KoDa nur mit governten Marts arbeitet, sei das Tool eines der stärksten Argumente dafür geworden, auch den Rest des Unternehmens auf dasselbe Fundament zu holen, so Bru. Teams ohne governten Mart können das Tool nicht nutzen.

Die Evaluation war der eigentliche Aufwand

Laut Gambacorta war nicht der Skill selbst der schwierige Teil, sondern die Evaluationsschicht. Rund 11 Commits von drei Personen über drei Monate flossen in den Aufbau von Kontextbibliotheken und in einen „Eval-Council“, wie er es nannte, eine wachsende Bibliothek mit etwa 375 echten Analystenfragen.

Die Bibliothek unterstützt die Offline-Evaluation, die prüft, ob eine Änderung am Styleguide die Antwortqualität verbessert oder verschlechtert, sowie die Online-Evaluation. Dabei wird jede von KoDa beantwortete Frage protokolliert, und ein Analyst im wöchentlichen Wechsel prüft neue oder besonders wichtige Fragen.

Gambacorta merkte an, dass etwa ein Drittel der Sessions des diesjährigen dbt Summit Kontext oder die Semantic Layer berührte, aber nur etwa jede 33. die Evaluation behandelte. Das sei verkehrt, wenn man bedenke, wie viel von KOHOs Aufwand in die Evals geflossen sei.

Vertrauen, Akzeptanz und die nächsten Schritte

Bru sagte, das Datenteam habe sich über Jahre Glaubwürdigkeit erarbeitet, indem es bei jeder Antwort mit am Tisch saß, und Self-Service-Tools nähmen das Team aus diesem Raum heraus. Vorerst protokolliert KOHO jede an KoDa gestellte Frage und prüft Self-Service-Ergebnisse, die an den Vorstand gehen, weiterhin persönlich.

Beide Vortragenden argumentierten, der Engpass verlagere sich von der Technik zu den Menschen: Es gehe darum, einem Unternehmen beizubringen, wann es einer Self-Service-Antwort vertrauen kann und wann es zum Datenteam zurückkehren sollte, und genug Datenkompetenz aufzubauen, damit Menschen bessere Fragen stellen.

In der Fragerunde beschrieben sie ein Hub-and-Spoke-Team aus fachspezifischen Domänenanalysten, die rollenspezifische Beispielabfragen schreiben, um die Akzeptanz zu steigern. Außerdem sagten sie, das Nutzungsvolumen von KoDa übersteige bereits das, was früher über Slack beim Datenteam ankam. Das deute darauf hin, dass das Tool Fragen sichtbar macht, die zuvor nie gestellt wurden, und nicht nur alte ersetzt.

Für andere Unternehmen zeigt der Fall, dass governte Datenmodelle und Evaluationsarbeit die Voraussetzungen für ein solches Tool sind und nicht die Wahl des Modells.