EF Education First bewertet dbt-Modelle mit einem Cortex Agent nach Kosten und Nutzen
EF Education First hat auf Basis von dbt und Snowflake ein Scoring-System entwickelt, das jedes Modell nach Kosten und Nutzung bewertet, und es in einen Snowflake Cortex Agent eingebunden, den die Fachbereichsteams selbst abfragen können. Adrien Ledoux, der das Data-Platform-Team des Unternehmens leitet, stellte das Projekt in einer Breakout-Session auf dem dbt Summit 2026 vor.
- EF Education First bewertet jedes dbt-Modell und jeden Test nach Ausführungszeit, verbrauchten Credits und verarbeiteten Zeilen pro Sekunde.
- Die Modelle werden per Perzentilrang gegen ähnlich große Modelle normalisiert und in drei Stufen eingeteilt.
- Ein Snowflake Cortex Agent auf einer gesteuerten semantischen Schicht ermöglicht es den Fachbereichsteams, die Scores abzufragen.
- Einige aufwendige Pipelines wurden 40 Prozent effizienter, ein großes Modell lief statt 10 nur noch 2 Minuten.
- Die Akzeptanz des Agenten bleibt laut Adrien Ledoux die größte fortlaufende Herausforderung.
Von Fixkosten zu verbrauchsabhängigen Kosten
EF Education First schickt jedes Jahr Tausende Schülerinnen und Schüler auf Reisen rund um die Welt. Die Mission des Unternehmens lautet laut dem Bericht von dbt Labs über die Session "opening the world through education". Ledoux' Plattformteam unterstützt eine Data-Mesh-Architektur, in der die Fachbereichsteams jeweils ihre eigenen Marts und ihre Geschäftslogik verantworten.
Das Problem begann mit dem Umstieg von einer älteren SQL-Server-Umgebung auf Snowflake. Bei SQL Server waren die Ausgaben fix, und die eigentliche Beschränkung war der Durchsatz. Die verbrauchsbasierte Rechenleistung von Snowflake, aufgeteilt in separate Warehouses pro Fachbereichsteam, erlaubte es den Teams, Pipelines nach eigenem Zeitplan laufen zu lassen. Zugleich bedeutete das, dass jeder Lauf eines dbt-Modells reale Kosten verursachte.
Ledoux' Team war nun dafür zuständig, diese Ausgaben fair auf eine dezentral organisierte Firma zu verteilen. Schnell zeigten sich drei Symptome: stetig steigende Kosten, einige Pipelines mit kaum nachgelagerter Nutzung und eine Handvoll teurer Projekte, für die niemand klar verantwortlich war.
So funktioniert das Scoring-System
Das Team bewertet jedes dbt-Modell und jeden Test anhand von Ausführungszeit, verbrauchten Credits und verarbeiteten Zeilen pro Sekunde. Die Scores werden als Perzentilrang im Vergleich zu ähnlich großen Modellen normalisiert, sodass eine große Faktentabelle gegenüber einer kleinen nicht unfair benachteiligt wird.
Die Modelle werden dann in drei Stufen eingeteilt:
- Obere Stufe: bleibt unangetastet und wird im Unternehmen als Erfolgsbeispiel hervorgehoben.
- Mittlere Stufe: wird regelmäßig überprüft.
- Untere Stufe: löst ein Review-Gespräch mit dem zuständigen Fachbereichsteam aus.
Die Daten stammen aus den Account-Usage-Daten von Snowflake, die nach einem Kimball-Ansatz transformiert werden, sowie aus einer eigenen Pipeline, die Aktivitätsprotokolle von Power BI einliest. Ledoux merkte an, dass Fivetran einen nativen Power-BI-Konnektor veröffentlicht hat, der diese eigene Anbindung künftig ersetzen könnte. Die Quellen speisen eine gesteuerte semantische Schicht in Snowflake, die von einem Cortex Agent umhüllt wird. Der Agent ist mit Kontext wie Fachbereich, Nutzer und Team angereichert, sodass er bereits weiß, wer fragt und wofür diese Person verantwortlich ist.
Ergebnisse und die Herausforderung der Akzeptanz
Laut der Zusammenfassung der Session wurden einige der aufwendigsten Pipelines von EF um 40 Prozent effizienter, und eines der größten Modelle benötigte statt 10 Minuten nur noch 2 Minuten. In manchen Power-BI-Workspaces wurden bis zu 70 Prozent der Berichte gelöscht, nachdem die geringe Nutzung sichtbar geworden war.
Ledoux sprach offen darüber, dass die größte fortlaufende Herausforderung die Akzeptanz des Agenten selbst sei. Der Aufbau habe zudem seine Data Engineers dazu gebracht, mehr wie Analytics Engineers zu arbeiten, und Lücken in der eigenen CI/CD offengelegt. Er unterschied zwischen Nutzung und Wert: Ein Bericht, der tausendmal aufgerufen wird, sei nicht zwangsläufig wertvoll, während ein Bericht, den die richtige Person einmal pro Woche prüft, es sehr wohl sein könne.
Wie es weitergeht
Das Team baut eine Reverse-ETL-Schleife auf, die umsetzbare Erkenntnisse in Salesforce einspeist, Personen zuweist und das Ergebnis wieder einliest, um den Feedback-Kreislauf zu schließen. Zu den weiteren geplanten Schritten gehören:
- Den Agenten autonomer zu machen, indem er über Fivetran mit Confluence-Dokumentation gespeist wird.
- Ihn mit Snowflake-Workflows zu verbinden, die automatisch Jira-Tickets für Fachbereichsteams anlegen können.
- Regelmäßige Nutzungsübersichten direkt an Fachbereichsteams zu schicken, die das Tool sonst womöglich gar nicht kennen.
Ledoux' Schlusspunkt war zugleich eine Warnung: Eine gute technische Idee setzt sich nicht von selbst durch, und Führungskräfte müssen weiterhin Zeit ins Change Management investieren. Für andere Organisationen mit dezentralen Datenteams auf verbrauchsbasiert abgerechneten Plattformen zeigt der Fall EF einen Weg, Kosten für die Verantwortlichen der Pipelines sichtbar zu machen, wobei die Zahlen die eigene Darstellung des Unternehmens sind.
