Datadog erweitert Agent Observability um Prompt Management für LLM-Anwendungen

Datadog hat in seinem Produkt Agent Observability die Funktion Prompt Management eingeführt. Sie ist eine zentrale Registry, um LLM-Prompts unabhängig vom Release-Zyklus einer Anwendung zu erstellen, zu versionieren, auszurollen und abzurufen. In Kombination mit Prompt Tracking wird jede Prompt-Version den LLM-Aufrufen zugeordnet, die sie verwendet haben.
- Datadog hat Agent Observability um Prompt Management erweitert, eine Registry zum Erstellen, Versionieren, Ausrollen und Abrufen von LLM-Prompts.
- Anwendungen rufen Prompts zur Laufzeit über eine stabile Prompt-ID ab, sodass neue Versionen ohne neuen Anwendungs-Build live gehen können.
- Versionen lassen sich pro Umgebung bereitstellen, mit Targeting-Regeln auf Basis von Datadog Feature Flags.
- In Kombination mit Prompt Tracking können Versionen nach Aufrufvolumen, Latenz, Token-Nutzung und Kosten verglichen werden.
- Der Abruf zur Laufzeit unterstützt Python; Agent Observability ist bis zu 40.000 LLM-Spans pro Monat kostenlos.
Eine zentrale Registry für Prompt-Versionen
Laut Datadog sind Prompts ein wesentlicher Teil des Verhaltens von LLM-Anwendungen, werden aber von Teams häufig im Anwendungscode, in Notebooks oder in separaten Konfigurationsdateien abgelegt. Dadurch können Prompt-Änderungen von Anwendungs-Releases abhängig werden, und es wird schwer nachzuvollziehen, welche Version in welcher Umgebung läuft.
Im Prompt Management hat jeder verwaltete Prompt eine stabile Prompt-ID und eine Versionshistorie. Anwendungen verweisen weiterhin auf dieselbe Kennung, während der Prompt aktualisiert wird. Wird ein Prompt bearbeitet, bewahrt Datadog frühere Versionen auf, statt sie zu überschreiben. Versionshistorie und Vergleiche erlauben es den Teams, Änderungen zu prüfen und bei Bedarf zu einer älteren Version zurückzukehren.
Auf der Seite Prompts werden verwaltete Prompts und solche, die über Prompt Tracking erfasst wurden, im selben Katalog zusammengeführt. Verfolgt Agent Observability bereits einen Prompt in einer Anwendung, lässt er sich für die Verwaltung registrieren, statt ihn neu anzulegen. Teams können Prompts außerdem direkt in Datadog erstellen und Variablen für Inhalte definieren, die die Anwendung zur Laufzeit liefert.
Prompts ausrollen, ohne einen neuen Build zu veröffentlichen
Prompt Management trennt das Ausrollen von Prompts vom Deployment der Anwendung. Statt jede Überarbeitung im Code einzubetten, ruft die Anwendung einen verwalteten Prompt zur Laufzeit über seine Prompt-ID ab, und Datadog ordnet die Anfrage der passenden ausgerollten Version zu. Ein Team kann eine neue Version veröffentlichen und in einer Umgebung bereitstellen, ohne dass ein neuer Anwendungs-Build nötig ist. Führt eine Änderung zu unerwünschten Ergebnissen, lässt sich eine frühere Version ausrollen, ohne unabhängige Änderungen an der Anwendung zurückzunehmen.
Anwendungen können außerdem einen lokalen Prompt als Fallback behalten, falls der Abruf des verwalteten Prompts fehlschlägt. Laut Datadog wird der Abruf zur Laufzeit in Python unterstützt; für Voraussetzungen, unterstützte ddtrace-Versionen, Authentifizierung und Fallback-Verhalten verweist das Unternehmen auf seine Dokumentation.
Versionen derselben Prompt-ID lassen sich in unterschiedlichen Umgebungen bereitstellen, etwa eine Version in der Entwicklung, eine andere im Staging und eine stabile in der Produktion. Anwendungen rufen die Version ab, die ihrer Umgebung zugeordnet ist, während Entwickler eine exakte Version anfordern können, um Verhalten zu reproduzieren oder zu validieren.
Für feinere Steuerung baut Prompt Management auf Datadog Feature Flags auf und unterstützt Targeting-Regeln. Innerhalb einer Umgebung kann eine Version der Standard bleiben, während eine andere für Anfragen ausgeliefert wird, die zu vom Team definierten Attributen passen.
Prompt-Änderungen mit der Performance verknüpfen
Ist Agent Observability aktiviert, arbeitet Prompt Management mit Prompt Tracking zusammen, um verwaltete Prompt-Versionen mit LLM-Spans zu verknüpfen. Auf der Seite Prompts können Teams Versionen nach Aufrufvolumen, Latenz, Token-Nutzung und Kosten vergleichen, Unterschiede zwischen Prompts prüfen und zu den Traces springen, in denen eine bestimmte Version verwendet wurde.
Datadog nennt als Beispiel den Fall, dass sich Latenz oder Token-Nutzung nach einem Prompt-Update verändern: Ein Team kann die Version identifizieren, die zu den betroffenen Aufrufen gehört, und die zugehörigen Traces untersuchen. Prompt Tracking erlaubt es zudem, den Trace Explorer nach Prompt-Name, -ID oder -Version zu filtern.
Beide Funktionen bleiben getrennt. Anwendungen können verwaltete Prompts abrufen, ohne Agent Observability zu aktivieren, während Agent Observability die LLM-Spans und Prompt-Metadaten liefert, die zur Analyse von Nutzung und Performance nötig sind.
Verfügbarkeit und Bedeutung für Teams
Laut Datadog ist Agent Observability für Datadog-Kunden kostenlos, sofern sie bis zu 40.000 LLM-Spans pro Monat übermitteln. Wer noch kein Konto hat, kann sich für eine 14-tägige kostenlose Testphase anmelden.
Für Teams, die LLM-Anwendungen betreiben, bietet die Neuerung die Möglichkeit, Prompts in eigenem Takt weiterzuentwickeln und zugleich nachzuvollziehen, welche Version welchen Traffic bedient hat. Nach Angaben von Datadog soll sie Teams dabei helfen, zu untersuchen, wie Prompt-Änderungen mit dem Verhalten der Anwendung zusammenhängen.
Datadog: Manage and deploy LLM prompts with Datadog


