Careems KI-Agent schreibt und testet dbt-Modelle, bevor Menschen sie prüfen

Ein Rückstau und ein gescheiterter erster Versuch

Careem betreibt Fahrdienste, Lebensmittel- und Essenslieferungen sowie Geldüberweisungen. Das Data-Engineering-Team ist schlank besetzt und betreut mehr als 5.000 Modelle. Der Stack ist in Eigenregie aufgebaut und setzt von der Datenaufnahme über die Transformation bis zum BI durchgehend auf Open Source, wobei dbt die Transformation übernimmt.

In einer Breakout-Session beim dbt Summit 2026 schilderten Niyazulla Khan Pathan, Engineering Manager des Data-Platform-Teams, und Akash Srivastava, Lead Software Engineer im selben Team, einen Rückstau von über 100 offenen Datenanfragen. Jede einzelne hatte bis dahin ein bis zwei Wochen Bearbeitungszeit gekostet.

Die erste Lösung bestand darin, ein LLM auf das Problem anzusetzen und Modelle schreiben zu lassen. Laut der Session scheiterte das. Ein menschlicher Reviewer, der KI-generierten Code eher auf Muster überfliegt, als jede Zeile zu lesen, kann den einen Sonderfall übersehen, der eine Pipeline lahmlegt und das Vertrauen des Unternehmens in die Zahlen beschädigt.

"Vertrauen entsteht durch Validierung und nicht wirklich durch den Code-Generator", sagte Srivastava.

Vier Säulen rund um die Validierung

Dieser Grundsatz prägte eine Agenten-Architektur mit vier Säulen.

• Kontextebene: Auf offenen Metadaten aufgebaut, liefert sie dem Agenten Dokumentation auf Tabellen- und Spaltenebene, Lineage, ein Glossar interner Begriffe wie AOV und GTV sowie zentral gepflegte Metrikdefinitionen.
• Spec Locking: Der Agent muss Rückfragen zu Granularität, Metrikdefinition und Filtern stellen, bevor er etwas schreibt. Bei Careem kann allein "Umsatz" GTV, GMV oder die Zahl der Bestellungen bedeuten, weshalb der Agent nun nachfragt, was gemeint ist.
• Golden und Transient Layer: Der Golden Layer ist für vollständig gesteuerte, föderierte Metriken reserviert. Der Transient Layer nimmt einmalige Analystenanfragen auf, die eine Lebensdauer von 30 Tagen haben, bevor sie in einen Data Mart überführt oder automatisch bereinigt werden. Im vergangenen Jahr räumte das Team 3,6 Petabyte an transienten Daten auf.
• Strukturelle Leitplanken: Jede vom Agenten erzeugte Änderung läuft isoliert in einer Sandbox-Entwicklungsumgebung mit getrennten IAM-Rollen, Speicherpfaden und Rechenressourcen, sodass der Agent die Produktion nicht berühren kann.

Darüber liegt eine Agentenschleife, die jede Änderung kompiliert, testet und materialisiert. Sie erkennt Fehler wie nicht passende Datentypen und behebt sie so lange, bis der Lauf erfolgreich ist, und zwar bevor ein Mensch den Pull Request prüft.

Die Live-Demo

In der Demo tippte ein Analyst eine Anfrage in einfachem Englisch ein: "I want a daily food revenue for each merchant." Innerhalb weniger Minuten lieferte das System ein vollständig getestetes, dokumentiertes dbt-Modell und einen Pull Request.

Der erste Sandbox-Lauf scheiterte an einem nicht passenden Datentyp. Der Agent las die Fehlermeldung, korrigierte den Fehler und startete den Lauf erneut. Der zweite Lauf schlug fehl, weil eine benötigte Spalte in einer anderen Quelltabelle lag. Der Agent fand sie über die Kontextebene, band sie per Join ein und wiederholte den Lauf. Erst nach einem fehlerfreien Durchlauf ging der Pull Request an einen Menschen.

Die automatisierten Prüfungen gingen über die Standardtests von dbt hinaus. Sie stellten sicher, dass die Daten korrekt von Bronze über Silver nach Gold flossen, und validierten den Speicherort des Modells anhand der Domänenkonventionen von Careem.

Ergebnisse und Bedeutung

Careem berichtet, dass die Lieferzeit für Metriken von zwei bis drei Wochen auf wenige Stunden gesunken ist. Rund 90 % der neuen Modelle bei Careem stammen inzwischen aus dem Framework, und seit Einführung des Verfahrens gab es keine Sev0- oder Sev1-Vorfälle.

Das Team ergänzte außerdem einen Schutz vor doppelten Anfragen. Da jede Änderung über das dbt-Manifest läuft, wird eine zweite Anfrage für eine bereits hinzugefügte Spalte auf das bestehende Modell umgeleitet, statt ein nahezu identisches neu anzulegen.

Der Zeitplan war knapp. Careem begann im Dezember mit der Evaluierung von dbt, hatte bis März die gesamte Infrastruktur aufgebaut und den Agenten im April oder Mai in Betrieb. Die Migration des Altsystems im Data Warehouse dauerte nur wenige zusätzliche Wochen.

Für Datenteams, die den Einsatz KI-generierten Codes abwägen, zeigt der Bericht von Careem, wo der Aufwand lag: bei den Prüfungen rund um den Generator. Pathan fasste es zum Abschluss des Vortrags so zusammen: "Der Generator ist einfach. Die Validierungsebene ist das Produkt."