LangSmith verknüpft Ausgaben für Coding-Agenten mit Pull-Request-Ergebnissen

LangChain hat die Berichterstattung zu Coding-Agenten in LangSmith erweitert und verknüpft Ausgaben mit GitHub-Pull-Requests und GitLab-Merge-Requests. Nach Angaben des Unternehmens soll die Funktion Teams dabei helfen, die Ergebnisse ihrer Coding-Agenten zu messen und Kosten zu untersuchen, die nicht zu einem Pull Request führen.
- LangSmith verknüpft Threads von Coding-Agenten mit Pull Requests und Merge Requests.
- Das Dashboard schlüsselt Ausgaben nach dem Status von Pull Requests und der Art der Arbeit auf.
- Nicht zugeordnete Ausgaben umfassen Sitzungen, die nicht zu einem Pull Request führen.
- Zu den unterstützten Agenten gehören Claude Code, OpenAI Codex, Cursor, GitHub Copilot und Deep Agents.
- Die Funktion ist in LangSmith Cloud als öffentliche Beta verfügbar.
Agentenkosten mit Entwicklungsarbeit verknüpfen
Das neue Konzept der Ergebnisse in LangSmith verknüpft Threads von Coding-Agenten mit Pull Requests oder Merge Requests. Die Ausgaben jedes Traces werden automatisch den Pull Requests zugeordnet, zu denen ein Agent beigetragen hat. Das gilt auch für Fälle, in denen ein Thread mehrere Pull Requests eröffnet oder ein Pull Request mehrere Threads erfordert.
Das Unternehmen erklärte, dass Programmierung die größte Kategorie bei den Ausgaben für KI-Anwendungen in Unternehmen ist und 2026 $34B erreicht. Herkömmliche Nutzungsanalysen und Angaben zum KI-Verbrauch können zeigen, wie intensiv Teams einen Agenten einsetzen. Sie zeigen jedoch nicht, was aus den Tokens entsteht. LangChain zufolge ermöglicht die neue Berichterstattung, Ausgaben von Nutzern und Teams mit der gelieferten Arbeit zu verknüpfen.
Ein Dashboard für Kosten, Ergebnisse und offene Fragen
Die Übersichtsseite für Coding-Agenten bündelt die Kosten einer Organisation und verknüpft sie mit Pull Requests. Sie zeigt zentrale Leistungskennzahlen, Entwicklungen im Zeitverlauf und Ausgaben nach dem Status von Pull Requests, darunter offene, geschlossene und zusammengeführte Arbeiten. Teams können die Ergebnisse vor und nach Änderungen an Modellen oder anderen Richtlinien vergleichen.
LangSmith erfasst außerdem separat nicht zugeordnete Ausgaben aus Sitzungen, die nicht mit einem Pull Request enden. Dazu können Code-Reviews, Untersuchungen und das Erkunden einer Codebasis gehören. Das Dashboard kennzeichnet Threads außerdem nach der Art der Arbeit, etwa Funktionen, Fehlerbehebungen, Untersuchungen und Code-Reviews. Zugleich zeigt es den Anteil der Threads und Kosten für jeden Typ.
Weitere Ansichten erfassen die von Agenten aufgerufenen Skills, die teuersten Pull Requests und die Entwicklung der Kosten mit zunehmender Gesprächslänge. Jede Kennzahl verweist auf die zugehörigen Threads und Sitzungen. So können Teams nachvollziehen, was in einer bestimmten Interaktion passiert ist.
Unterstützung für mehrere Coding-Agenten
LangSmith führt Traces verschiedener Coding-Agenten in einem Dashboard zusammen. Zu den unterstützten Agenten gehören Claude Code, OpenAI Codex, Cursor, GitHub Copilot in VS Code und Deep Agents, mit denen Teams einen eigenen Coding-Agenten entwickeln können.
LangChain nennt mehrere Einsatzmöglichkeiten für die Kennzahlen. Entwicklungsteams können teure Pull Requests sowie die dahinterstehenden Modelle, Threads und GitHub-Nutzer untersuchen. Sie können Kosten und Ergebnisse verschiedener Modelle oder Anbieter vergleichen, prüfen, ob kleinere Modelle die Ausgaben senken, und analysieren, welche Skills in kurzen Threads auftreten, die mit zusammengeführten Pull Requests enden.
Die Berichterstattung kann Entwicklungs- und Finanzteams außerdem eine gemeinsame Sicht auf die Kosten geben. Die Kosten pro zusammengeführtem Pull Request werden neben nicht zugeordneten Ausgaben angezeigt. LangChain weist jedoch darauf hin, dass nicht zugeordnete Arbeit auch dann wertvoll sein kann, wenn sie nicht zu einem Pull Request führt.
LangSmith for Coding Agents ist in LangSmith Cloud als öffentliche Beta verfügbar. Teams müssen das LangSmith-Plugin für jeden Coding-Agenten installieren, GitHub verbinden und die Übersichtsseite für Coding-Agenten öffnen. Traces von Coding-Agenten werden auf die reguläre Nutzung der LangSmith-Tracing-Funktion angerechnet.
LangChain: LangSmith for Coding Agents: Now track spend by outcome


