LangChain steigert Self-Service-Analytics-Fragen um das 40-Fache durch mehrschichtigen Agenten-Kontext

Kontext als Fundament für einen Analytics-Agenten

Emily Hawkins, Head of Analytics Engineering bei LangChain, und Logan Cochran, Analytics Engineer bei LangChain, erklärten, wie ihr Team einen KI-Analytics-Agenten korrekt hält, während sich das Geschäft laufend verändert. Ihre Ausgangsthese lautet laut der Zusammenfassung von dbt Labs: Ein Agent ist nur so klug wie der Kontext, den er erhält. Ein Sprachmodell hat von Haus aus kein Verständnis für die Daten, die Geschäftsregeln oder das interne Vokabular eines Unternehmens.

Die erste Schicht ist das dbt-Projekt selbst. LangChain synchronisiert Tabellen- und Spaltenbeschreibungen aus dbt nach BigQuery, sodass Hex und jeder andere interne Agent, der aus BigQuery liest, dieselben Beschreibungen übernimmt. Der Hex-Agent hat zudem direkten Zugriff auf das dbt-Repository und den DAG. So kann er Abhängigkeiten flussaufwärts und flussabwärts sowie die SQL-Logik hinter einem Modell nachvollziehen, nicht nur die Spaltennamen.

Das Team musste dafür seine Art der Dokumentation ändern. Eine vage Beschreibung wie „der Status des Kontos“ genügte, solange nur erfahrene Menschen sie lasen. Für einen Agenten muss die Beschreibung laut dem Beitrag eher einer Definition des aktuellen Lebenszyklusstatus des Kontos in Salesforce entsprechen: „active“ steht dabei für einen aktiven bezahlten Vertrag, „churned“ für einen beendeten bezahlten Vertrag und „prospect“ dafür, dass das Konto noch kein Kunde ist.

Drei weitere Schichten in Hex

Auf der dbt-Schicht setzt LangChain in Hex drei weitere Bausteine auf:

• Workspace-Guides: Markdown-Dateien, die Geschäftskonzepte erklären, die ein Agent braucht, um eine Frage richtig zu interpretieren, etwa wie das Team den ARR misst oder welche internen Produktbegriffe gelten. Das Team schreibt sie in seinem dbt-Repository und importiert sie per GitHub Action in Hex, sodass sie versioniert bleiben und anderen Agenten zur Verfügung stehen.
• Eine Semantic Layer: In Code definierte Metriken und Join-Beziehungen für die wichtigsten Modelle des Teams, damit eine Frage zu einer Umsatzkennzahl jedes Mal gleich aufgelöst wird.
• Endorsements: Markierungen, welche Mart-Modelle und Dashboards als verlässliche Quellen der Wahrheit gelten. LangChain geht dabei bewusst selektiv vor, denn ein Endorsement, das kein starkes Signal ist, verliert seine Bedeutung. Jede Änderung an einem freigegebenen Dashboard erfordert vor der Veröffentlichung eine Prüfung durch das Datenteam.

Neue Rolle für das Datenteam

Laut dem Beitrag hat diese Kombination verändert, wie das Team seine eigene Aufgabe sieht. Statt zu versuchen, jede eingehende Frage selbst zu beantworten, konzentriert sich das Datenteam nun darauf, den Kontext zu verantworten, mit dem andere Abteilungen direkt selbst Antworten finden können. Das Team veranschaulichte den Wandel mit einer Vorher-nachher-Darstellung: Abteilungen, die Fragen über das Datenteam leiten, und Abteilungen, die den Agenten direkt abfragen.

Die Referenten räumten offen ein, dass das System funktioniert, obwohl sich das Geschäft schneller ändert, als die Dokumentation mithalten kann. Eine Änderung am Preismodell kann sich über mehrere Domänen hinweg auswirken, und ein Geschäftsbereich braucht keine lückenlosen Metrikdefinitionen, bevor ein Agent nützlich werden kann. Das Team versteht Kontext als etwas, das fortlaufend dokumentiert wird, nicht als Projekt mit Enddatum.

Worauf die 40-fache Steigerung beruht und was als Nächstes kommt

LangChain gibt an, die Zahl der Fragen im Self-Service-Analytics um das 40-Fache gesteigert zu haben. Das Unternehmen führt dies auf drei Dinge zurück: den Kontext bei Änderungen weiter zu dokumentieren, die Nutzer im Umgang mit dem Agenten zu schulen und die Wirkung zu messen, um fehlenden Kontext gezielt nachzubessern.

Auf der Roadmap stehen Evals und der Einsatz der Hex-CLI, um den Kontext weiter anzureichern. Für andere Datenteams zeigt der Bericht, dass für maschinelle Leser geschriebene Dokumentation, versionierte Business-Guides und die selektive Auszeichnung vertrauenswürdiger Assets die Praktiken hinter den Ergebnissen von LangChain sind. Die 40-fache Steigerung ist eine Angabe von LangChain selbst, der Beitrag nennt keine zugrunde liegenden Fragezahlen.