LangChain kombiniert TypeSafes Entscheidungsmodell Jev mit LangGraph für Agenten nach dem Motto „Prod, not God“

Ein Modell, das Entscheidungen statt Text liefert

Laut LangChain hat TypeSafe AI Jev vergangene Woche veröffentlicht. Anders als herkömmliche LLMs erzeugt Jev keinen Text. Es trifft Entscheidungen, auf die Code direkt reagieren kann. TypeSafe beschreibt das als KI-gestützte Software, bei der „der Code den Workflow steuert und die KI enge, strukturierte Entscheidungen übernimmt“. Die Philosophie des Unternehmens fasst es mit dem Satz zusammen, man baue „Prod, not God“.

LangChain beschreibt das Problem so: Seit Frontier-LLMs leistungsfähiger geworden sind, setzen Teams sie für jede Aufgabe mit unscharfen Eingaben ein, von der Klassifizierung bis zur Recherche. Diese Allgemeinheit zahlt man bei jedem Aufruf, selbst wenn nur ein Ja oder Nein gebraucht wird. Bei eng gefassten Entscheidungsaufgaben wie Routing und Klassifizierung läuft Jev laut den Benchmarks von TypeSafe bis zu 200-mal schneller und 400-mal günstiger als führende LLMs.

Jev ist ein sogenanntes System-eins-Modell, auch Entscheidungsmodell genannt. Man übergibt ihm einen Zustand und eine Reihe von Fragen, und es liefert typisierte Antworten samt Wahrscheinlichkeiten. LangChain nennt vier Eigenschaften, die es für Produktivsysteme geeignet machen:

• Strukturiert: Typisierte Antworten mit Wahrscheinlichkeiten lassen den Code vorhersehbar verzweigen.
• Parallel: Zu demselben Zustand lassen sich viele Fragen gleichzeitig stellen.
• Schnell: Entscheidungen sind so günstig, dass sich in einem einzigen Durchlauf viele treffen lassen.
• Selbstkonsistent: Das Modell soll bei wiederholten Auswertungen stabile Antworten liefern.

Zur Konsistenz sagt LangChain, dass sich in einem frühen Experiment mit Jev als Judge die Bewertungen über 100 wiederholte Durchläufe kaum veränderten, deutlich weniger als bei jedem getesteten LLM-Judge.

LangGraph als Orchestrierungsschicht

LangChain argumentiert, dass bei so günstigen Entscheidungen die Orchestrierung zur eigentlichen Herausforderung wird. Das ist die Rolle von LangGraph, das nach Angaben des Unternehmens mehr als 60 Millionen Mal im Monat heruntergeladen wird und von vielen der Fortune-50-Unternehmen genutzt wird, die mit KI arbeiten.

Eine LangGraph-Anwendung besteht aus drei Bausteinen. Knoten sind Arbeitseinheiten, etwa einfacher Code, ein Modellaufruf, ein Tool-Aufruf oder ein ganzer Subgraph. Der Zustand (State) enthält die Informationen, die Knoten lesen und aktualisieren. Kanten legen fest, welcher Knoten als Nächstes läuft, entweder auf festem Pfad oder dynamisch auf Basis des Zustands. Da jeder Graph selbst Knoten in einem größeren Graphen sein kann, lassen sich kleine, getestete Bausteine zu größeren Systemen zusammensetzen.

Während der Graph läuft, sammeln sich die Ergebnisse im Zustand, der als Kontext für spätere Schritte dient und zugleich bestimmt, welche Knoten als Nächstes laufen. Laut LangChain können Entwickler so Fachwissen in der Topologie des Graphen statt in Prompts abbilden.

Die Laufzeitumgebung liefert nach Angaben von LangChain drei Garantien:

• Dauerhafte Ausführung: Checkpointing sichert den Zustand bei jedem Schritt, sodass ein fehlgeschlagener Lauf mit den bereits getroffenen Entscheidungen fortgesetzt wird.
• Human in the Loop: Unterbrechungen erlauben es, einen Lauf für Prüfung und Freigabe anzuhalten und anschließend fortzusetzen.
• Observability: Traces in LangSmith zeigen, was entschieden wurde und warum.

LangChain weist darauf hin, dass Jev weiterhin unstrukturierten Text entgegennimmt und ein Urteil zurückgibt. Es braucht daher dieselben Garantien, die ein Graph jedem Knoten automatisch bietet.

Beispiel: Dokumentenprüfung für die Discovery

LangChain veranschaulicht den Ansatz am Beispiel der Discovery im Rechtsverfahren. Dabei muss ein Unternehmen jede Seite prüfen, bevor es Dokumente an die Gegenseite übergibt, und ein einzelner Fall kann Hunderttausende Seiten umfassen. Der Großteil dieser Arbeit besteht aus derselben eng begrenzten Entscheidung, die sich ständig wiederholt. Das Unternehmen sieht darin einen natürlichen Anwendungsfall für Jev.

Für jede Seite beantwortet Jev drei Fragen in einer einzigen Anfrage, und jede Antwort entspricht einer Route im Graphen. Ist die Seite für die Anfrage nicht relevant, wird sie ausgesondert. Enthält sie personenbezogene Daten, schwärzt ein LLM diese. Könnte sie dem Anwaltsprivileg unterliegen, geht sie an einen Knoten namens attorney_review, der den Graphen für einen Menschen anhält. Alles, was übrig bleibt, ist bereit zur Übergabe.

LangChain gibt an, denselben Graphen einmal mit Jev für die Klassifizierung und einmal mit Sonnet als Judge laufen gelassen zu haben. Jev war beim Klassifizierungsschritt über alle Durchläufe 5- bis 6-mal schneller. Beide Läufe wurden in LangSmith nachverfolgt, das auch eigene Ansichten für Entscheidungsmodelle wie Jev bietet und für jede Entscheidung Eingaben und kalibrierte Ausgaben zeigt.

Die Entbündelung der Intelligenz

LangChain verweist auf Jaya Gupta, die das, was als Nächstes kommt, „die große Entbündelung der Intelligenz“ nennt: Fähigkeiten werden auseinandergezogen, und jede geht an das günstigste Modell, das sie bewältigen kann. In diesem Bild übernimmt Jev die Urteilsfähigkeit, und eine Laufzeitumgebung muss die Teile wieder zusammenfügen, indem sie jeden Schritt routet und entscheidet, wann eskaliert wird.

Als praktischen Fall nennt das Unternehmen die Browser-Automatisierung. Die nächste Aktion eines Browser-Agenten ist eine Auswahl aus einer endlichen Liste interaktiver Elemente auf einer Seite. Laut LangChain hat Browserbase die Funktion act() von Stagehand um diese Idee herum neu gebaut: Stagehand markiert die interaktiven Elemente, Jev wählt den Aktionstyp und das am besten geeignete Element aus, und alles unterhalb einer Konfidenzschwelle von 0,7 fällt auf ein LLM zurück.

Für Entwickler lautet die Botschaft von LangChain: Kosten und Geschwindigkeit von Agenten hängen möglicherweise weniger von einem immer größeren Modell ab, sondern eher davon, enge Entscheidungen an spezialisierte Modelle zu vergeben, und zwar in einem Graphen, der den Kontrollfluss in nachvollziehbarem, testbarem Code hält.