Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

LangSmith führt Warnmeldungen für Fehler, Latenz und LLM-Qualitätsprobleme ein

18. November 2026, 20:33Von der KI Nachrichten RedaktionQuelle: LangChain
LangSmith führt Warnmeldungen für Fehler, Latenz und LLM-Qualitätsprobleme ein
Bild: LangChain

LangChain hat Alerts in LangSmith eingeführt. Damit können Entwickler LLM-Anwendungen und Agenten in Echtzeit auf Probleme im Produktivbetrieb überwachen. Die Funktion kann auf Fehler, Latenzänderungen und sinkende Feedbackwerte hinweisen.

Das Wichtigste in Kürze
  • LangSmith Alerts überwachen Fehleranzahl und Fehlerrate, durchschnittliche Latenz sowie den durchschnittlichen Feedbackwert.
  • Entwickler können Warnmeldungen nach Modell, Tool-Aufruf oder Ausführungstyp filtern.
  • Warnmeldungen unterstützen Aggregationsfenster von 5 oder 15 Minuten sowie konfigurierbare Schwellenwerte.
  • Benachrichtigungen können über PagerDuty oder einen eigenen Webhook versendet werden.
  • LangChain plant Warnmeldungen für die Anzahl der Ausführungen, den Tokenverbrauch, relative Änderungen und frei definierbare Zeitfenster.

Warnmeldungen zielen auf Zuverlässigkeit und Ausgabequalität

LangChain zufolge sollen LangSmith Alerts Entwicklern helfen, Fehler zu erkennen, bevor sie sich auf Nutzer auswirken. Die Funktion ist für Anwendungen verfügbar, die Produktions-Traces an LangSmith senden. Entwickler, die noch nicht mit Tracing arbeiten, können in LangSmith mit dem Tracing beginnen.

Warnmeldungen können auf drei Metrikgruppen basieren: Fehleranzahl und Fehlerrate, durchschnittliche Latenz sowie durchschnittlicher Feedbackwert. Diese Metriken decken sowohl betriebliche Fehler als auch Veränderungen der Ausgabequalität einer LLM-Anwendung ab.

Filter und Zeitfenster grenzen relevante Signale ein

Entwickler können Filter anwenden, um Warnmeldungen auf bestimmte Teilmengen von Ausführungen zu konzentrieren. LangChain nennt das Modell, Tool-Aufrufe und den Ausführungstyp als Beispiele für Filteroptionen.

Jede Warnmeldung kann ein Aggregationsfenster von 5 oder 15 Minuten sowie einen Schwellenwert verwenden, der ihre Empfindlichkeit festlegt. Damit können Teams Warnmeldungen auf die Bereiche einer Anwendung abstimmen, die sie überwachen möchten, statt jede Ausführung gleich zu behandeln.

LangChain unterstützt außerdem den Versand von Warnmeldungen an PagerDuty oder die Anbindung an einen eigenen Webhook. Als Beispiel für den Einsatz eines Webhooks nennt das Unternehmen den direkten Versand von Benachrichtigungen an einen Slack-Kanal.

Warum die Überwachung von LLM-Anwendungen schwierig ist

Agentische Anwendungen sind laut LangChain auf externe Dienste angewiesen, darunter Modellanbieter, APIs, Websuchdienste und Datenbanken. Ausfälle, Ratenbegrenzungen und eine höhere Latenz bei diesen Abhängigkeiten können das Nutzererlebnis beeinträchtigen, weshalb eine frühzeitige Erkennung wichtig ist.

Qualitätsprobleme stellen eine weitere Herausforderung dar. Änderungen an Prompts, Modellen oder Eingaben können unerwartete Ergebnisse hervorbringen. Zudem können Prompts, die in kontrollierten Evaluierungen gut funktionieren, im Praxiseinsatz schlechter werden, weil sich Nutzerinteraktionen unterscheiden. Feedbackwerte aus Nutzereingaben oder Online-Evaluierungen können laut LangChain frühzeitig auf solche Qualitätseinbußen hinweisen.

Weitere Arten von Warnmeldungen sind geplant

LangChain plant, Warnmeldungen für die Anzahl der Ausführungen und den LLM-Tokenverbrauch hinzuzufügen. Außerdem sind Änderungswarnungen geplant. Damit könnten Entwickler einen relativen Wert festlegen, etwa eine Warnmeldung, wenn die Latenz um 25% ansteigt. Hinzukommen sollen auch Warnmeldungen für frei definierbare Zeitfenster.

Für Nutzer von LangSmith erweitert der Start die Überwachung um eine Ebene, die Anwendungsmetriken mit bestehenden Workflows für Vorfälle verbinden kann. Die geplanten Ergänzungen deuten darauf hin, dass das Unternehmen über feste Schwellenwerte sowie die aktuellen Messgrößen für Fehler, Latenz und Feedback hinausgehen will.

Ähnliche Meldungen

Mastra ergänzt Observability-Alarme für Kosten, Fehler und Evaluierungswerte
Produkte und Tools19. November 2026

Mastra ergänzt Observability-Alarme für Kosten, Fehler und Evaluierungswerte

Mastra Platform ermöglicht Nutzern nun, Observability-Alarme für Modellkosten, Fehlerraten, Latenz, Token-Nutzung und Evaluierungswerte zu erstellen. Benachrichtigungen…

LangChain ergänzt agentenübergreifendes Tracking zur Kontrolle der Programmierkosten
Für Entwickler18. November 2026, 20:33

LangChain ergänzt agentenübergreifendes Tracking zur Kontrolle der Programmierkosten

LangChain erweitert LangSmith, um Teams einen gemeinsamen Überblick über Ausgaben und Aktivitäten mehrerer Coding-Agenten zu geben. Nach Angaben des Unternehmens können…

LangSmith verknüpft Ausgaben für Coding-Agenten mit Pull-Request-Ergebnissen
Produkte und Tools18. November 2026, 16:00

LangSmith verknüpft Ausgaben für Coding-Agenten mit Pull-Request-Ergebnissen

LangChain hat die Berichterstattung zu Coding-Agenten in LangSmith erweitert und verknüpft Ausgaben mit GitHub-Pull-Requests und GitLab-Merge-Requests. Nach Angaben des…