Datadog Agent Observability integriert Audio in Traces für Voice Agents

Warum Text-Traces bei Sprache nicht ausreichen

Datadog argumentiert, dass ein Voice Agent die richtigen Worte liefern und dennoch ein schlechtes Nutzererlebnis bieten kann. Er lässt Anrufer möglicherweise in der Stille hängen, spricht ihnen ins Wort oder bricht mitten in der Antwort ab. Ein Transkript kann korrekt aussehen, obwohl das Audio, das der Nutzer gehört hat, verzögert, unvollständig oder anders als der Text auf dem Bildschirm war.

Sprachkonversationen bestehen zudem nicht nur aus einer Anfrage und einer Antwort. Audiostreams, Transkripte, Modellinteraktionen und Tool-Aufrufe tragen jeweils zu jeder Gesprächsrunde bei. Datadog zufolge müssen Teams diese Signale gemeinsam und in der Reihenfolge betrachten, in der der Nutzer sie erlebt hat. Audio bewahrt Details, die ein Transkript nicht abbilden kann, etwa Pausen, überlappende Sprache und den Punkt, an dem eine Antwort unterbrochen wurde.

Was die Funktion erfasst

Bei unterstützten Anwendungen, die mit der OpenAI Realtime API gebaut wurden, erfasst die automatische Instrumentierung pro Gesprächsrunde das Eingangs- und Ausgangsaudio, Transkripte, die Token-Nutzung und Tool-Aufrufe. Datadog wandelt rohes PCM16- und G.711-Audio in WAV um, sodass es direkt aus dem Trace abgespielt werden kann. Agent Observability unterstützt außerdem das Tracing von Anwendungen, die mit Amazon Nova 2 Sonic gebaut wurden, in den Tracern für Python und Node.js.

Von einer betroffenen Gesprächsrunde aus kann ein Team den Austausch anhören und dabei Transkript und Tool-Aufrufe prüfen. So lässt sich klären, ob der Agent die falsche Aktion gewählt, unerwartete Inhalte geliefert hat oder unterbrochen wurde, bevor er zu Ende gesprochen hatte.

Für die Latenz gibt die Instrumentierung bei OpenAI-Realtime-Anwendungen die Verteilungsmetrik ml_obs.trace.time_to_first_agent_audio aus. Sie misst, wie lange ein Nutzer auf die Audioantwort des Agenten wartet. Mit aktivierten Perzentil-Aggregationen können Teams Werte wie p50, p95 und p99 vergleichen. Steigt die Metrik, lässt sich über die Facette "Average time to first agent audio" in Agent Observability die Span-Liste auf die Gesprächsrunden mit den langsamsten ersten Audioantworten eingrenzen. Ein betroffener Trace zeigt dann, ob die Verzögerung mit einer Modellinteraktion, einer nachgelagerten Aktion oder einem anderen Teil der Konversation zusammenhängt.

Weil Anbieter Audio- und Text-Token getrennt zählen, können Voice Agents andere Nutzungsmuster aufweisen als reine Text-Agenten. Agent Observability erfasst die Token-Nutzung aus OpenAI-Realtime-Interaktionen, sodass sich Gesprächsrunden mit hohem Verbrauch neben Latenz und anderen Betriebssignalen prüfen lassen.

Unterbrechungen und unvollständige Transkripte

Datadog weist darauf hin, dass Unterbrechungen zu einem natürlichen Gespräch gehören, wiederholte Unterbrechungen aber auf ein Problem hindeuten können. Ein Agent liefert womöglich zu lange Antworten oder beginnt mit irrelevanten Informationen, oder er setzt auf eine Spracherkennung, die eine Pause fälschlich für das Ende des Redebeitrags des Nutzers hält. Unterbricht ein Nutzer eine Antwort der OpenAI Realtime API, lässt sich die entsprechende Gesprächsrunde öffnen, um zu hören, was der Agent in diesem Moment gesagt hat.

Transkripte brauchen denselben Kontext. Laut Datadog läuft die Eingabetranskription der OpenAI Realtime API getrennt von der Verarbeitung des Audios durch das Modell, und ein Ausgabetranskript kann unvollständig sein, wenn ein Nutzer eine Antwort unterbricht. Der Abgleich des Transkripts mit dem Audio verhindert, dass ein unvollständiges Transkript als vollständige Aufzeichnung der Interaktion gilt.

Einrichtung und Verfügbarkeit

Die automatische multimodale Instrumentierung erfolgt über das Agent Observability SDK. Python-Anwendungen, die die OpenAI Realtime API mit ddtrace 4.13.0 oder höher nutzen, können Audio, Transkripte, Token-Nutzung und Tool-Aufrufe pro Gesprächsrunde erfassen, ohne Audio-Spans manuell zu konstruieren. Datadog zufolge soll die Unterstützung für die ElevenLabs Realtime API in Kürze mit ddtrace 4.17.0 verfügbar sein.

Anwendungen, die bereits Spans gemäß den OpenTelemetry GenAI Semantic Conventions (ab Version 1.37) ausgeben, können unterstützte Audio-Nachrichtenteile ebenfalls an Agent Observability senden. Die automatische OpenAI-Realtime-Instrumentierung stammt jedoch aus Datadogs eigenem SDK. Details zu Audioformaten, SDK-Versionen und Größenbeschränkungen für Medien stehen in der Dokumentation zur multimodalen Instrumentierung.

Neue Datadog-Nutzer können kostenlos mit Agent Observability starten. Laut Unternehmen umfasst der kostenlose Tarif bis zu 40.000 LLM-Spans pro Monat.

Was das für Teams mit Voice Agents bedeutet

Für Teams, die Voice Agents betreiben, entfällt mit der Änderung das mühsame Zusammensetzen getrennter Transkripte, Metriken und Logs bei der Fehlersuche. Datadog zufolge können Nutzer von einem Latenzsignal oder einem gemeldeten Problem direkt zur konkreten Gesprächsrunde und zum zugehörigen Trace springen und hören, was der Anrufer gehört hat, während sie Modell, Tools, Latenz und Token-Nutzung dahinter prüfen.