LangSmith bekommt Engine v2, Managed Deep Agents 0.8 und Fine-Tuning

Engine v2 findet Probleme vor dem Produktivbetrieb und testet Fixes

LangSmith Engine ist ein Agent innerhalb der Plattform, der Schritte im Entwicklungszyklus von Agenten automatisiert, vom Erkennen von Problemen bis zum Vorschlagen und Testen von Fehlerbehebungen. LangChain zufolge hat Engine seit dem Start im Mai Entwicklern geholfen, mehr als 60 Mio. Traces zu analysieren und Zehntausende Probleme zu diagnostizieren.

Engine v2 bringt Red Teaming. Anhand von Produktions-Traces und Repositories kann Engine Hypothesen zu Problemen aufstellen, die im Produktivbetrieb womöglich noch gar nicht aufgetreten sind, diese testen und bestätigte Fehler zur Prüfung vorlegen.

Auch die Problemerkennung ist breiter geworden. Neben Fehlern und unerfüllten Nutzeranfragen erkennt Engine nun auch Leistungstrends bei Fehlerrate, Latenz und Kosten sowie ineffizientes Agentenverhalten wie wiederholte Tool-Aufrufe oder unnötig lange Trajectories.

Bei Agenten, die auf LangSmith Deployment laufen, kann Engine vorgeschlagene Fixes vor der menschlichen Prüfung validieren. Dazu führt Engine die fehlerauslösenden Eingaben gegen den Agenten aus, um das Problem zu bestätigen, und testet anschließend Lösungskandidaten gegen ein breiteres Eval-Set, bis einer das Problem behebt. Nutzer können dann mit einem Klick einen Pull Request öffnen. Laut LangChain wird die nächste Version von selbst gehostetem LangSmith BYOK für Engine unterstützen.

Managed Deep Agents v0.8 ergänzt Nutzer-Gedächtnis, Kanäle und Websuche

Managed Deep Agents kombiniert das Deep-Agents-Harness mit verwalteter Infrastruktur. Version 0.8 widmet sich Agentengedächtnis, Authentifizierung, Kanälen und Tool-Verwaltung.

• Gedächtnis auf Nutzerebene: Agenten können Kontext speichern, der jeweils auf einen authentifizierten Nutzer begrenzt ist und getrennt vom gemeinsamen Gedächtnis auf Agentenebene liegt. Die Laufzeitumgebung kopiert keine Inhalte zwischen den Ebenen, und Zugriffsrichtlinien lassen sich auf jeder Ebene festlegen.
• Zugangsdaten: Sowohl agenteneigene als auch nutzereigene Zugangsdaten werden für externe Verbindungen wie GitHub und Notion unterstützt.
• Kanäle: Die Slack-Anbindung umfasst nun Dateiübertragung, und ein neuer HTTP-Kanal erlaubt es Teams, Agenten mit jedem Dienst zu verbinden, der einen JSON-Webhook senden kann.
• Websuche: ein vorgefertigtes Tool auf Basis von Parallel, das einen separaten Anbieter-Account, einen API-Schlüssel oder ein eigenes Tool überflüssig macht.

Trajectories und Fine-Tuning machen Sitzungen zu Trainingsdaten

Lang laufende Agentensitzungen können viele Gesprächsrunden, Tool-Aufrufe, Wiederholungsversuche und Übergaben an Subagenten umfassen, wodurch vollständige Traces lang und verschachtelt werden. LangSmith Trajectories ist eine Gesprächsansicht, die Nachrichten von Menschen, KI und Tools über den Hauptagenten und alle Subagenten hinweg in chronologischer Reihenfolge zusammenführt. Laut LangChain beschleunigt das die Fehlersuche und bietet Fachexperten eine lesbare Ansicht, die sie bewerten, markieren und annotieren können, ohne Ausführungsmetadaten auswerten zu müssen. Auch LangSmith-Online-Evaluatoren können Trajectories bewerten.

LangSmith Fine-Tuning baut darauf auf. Es unterstützt Supervised Fine-Tuning (SFT) offener Modelle anhand hochwertiger Beispiele für eine Aufgabe. Die CLI smithtune erstellt und bereitet Datensätze aus Trajectories auf, trainiert das Modell mit Baseten oder Fireworks, bewertet die Ergebnisse mit LangSmith und stellt angepasste Modelle bereit und verbindet sie mit Anwendungen. LangChain argumentiert, dass ein auf den eigenen Daten eines Teams trainiertes Modell definierte Aufgaben oft so gut oder besser bewältigen kann als ein allgemeines Frontier-Modell, und zwar zu deutlich geringeren Kosten und mit geringerer Latenz. Das Unternehmen gibt an, SmithTune intern getestet und eine vollständige Auswertung veröffentlicht zu haben, nennt in der Ankündigung selbst aber keine Zahlen.

Custom Apps und was das für Teams bedeutet

Mit Custom Apps können Teams eigene Oberflächen auf Basis von LangSmith-Daten erstellen, veröffentlichen und betreiben. Teams können mithilfe von Vorlagen, In-App-Chat oder Anleitung durch einen Coding-Agenten gegen die LangSmith-APIs entwickeln und die App anschließend als gemeinsame Oberfläche in ihrem Workspace veröffentlichen. LangChain nennt als Anwendungsfälle Annotations-Workflows, Experimentvergleiche über Versionen oder Teilmengen hinweg sowie die Prüfung von Traces.

Insgesamt sieht LangChain die Neuerungen als Beitrag zu seiner Mission, dass jedes Unternehmen seine Intelligenz selbst besitzt, mit angepassten, domänenspezifischen Agenten für konkrete Probleme. Für Teams, die bereits LangSmith nutzen, decken die Änderungen das Erkennen und Beheben von Problemen, den Betrieb von Agenten mit nutzerbezogenem Kontext und die Wiederverwendung von Sitzungsdaten zum Feintuning kleinerer offener Modelle ab. Zu Preisen oder zur Verfügbarkeit macht die Ankündigung über die beschriebenen Funktionen hinaus keine Angaben.