New Relic ergänzt Tracing für Claude-Agenten über OpenTelemetry

Was die Integration abdeckt

Die Claude Platform exportiert nun OpenTelemetry-Traces (OTel) nativ, und New Relic AI Monitoring liest diese Spans dort aus, wo sie ankommen. Laut New Relic fragt die Architektur „Normalize on Read“ sie direkt aus der Span-Tabelle ab, sodass beim Ingest nichts dupliziert wird. Wenn eine Anwendung ihren Trace-Kontext weitergibt, was das Claude SDK automatisch tut, landet jeder Claude-Span im selben Trace wie die APM-Daten des Kunden.

Die Traces decken laut New Relic drei Bereiche ab:

• Claude Managed Agents: jede Sitzungsanfrage, jeden Agenten-Turn, jede Modellanfrage, jede Tool-Nutzung und jede Ergebnisbewertung.
• Messages API: jede Nachrichtenanfrage samt Modellanfragen und Compactions sowie jede Nutzung von Server- oder MCP-Connector-Tools.
• Claude SDKs: die Anfragen der Anwendung und benutzerdefinierte Tools, für Python, TypeScript, Go, Java, C#, PHP und Ruby.

Die Spans folgen den semantischen OTel-GenAI-Konventionen, die AI Observability bereits liest. Ein Attribut-Mapping muss daher nicht gepflegt werden.

Agenten über den gesamten Stack hinweg debuggen

New Relic beschreibt das Problem, das damit gelöst werden soll: Bislang war ein Agentenlauf auf mehrere Konsolen verteilt. Die Dienste des Kunden führten die benutzerdefinierten Tools aus, während die Claude Platform das Modell und, bei Claude Managed Agents, die Agentenschleife ausführte.

Das Unternehmen nennt als Beispiel einen Support-Agenten, der 40 Sekunden für eine Rückerstattung braucht. AI Observability zeigt, dass das Modell schnell antwortet, der Dienst dann aber 36 Sekunden mit der Ausführung des Tools lookup_order verbringt. Dieses Tool rief eine Orders-API auf, die auf eine Datenbankabfrage wartete, die nach einem Deployment am Vorabend langsamer geworden war. Weil Claudes Spans einen Trace mit APM-Daten teilen, können Teams laut New Relic der Spur über den Agenten hinaus folgen, was reine LLM-Tools nach Angaben des Unternehmens nicht leisten.

Für diese Arbeit bietet das Produkt mehrere Ansichten:

• Agent Trace Waterfall: Modellanfragen und Tool-Nutzungen auf einer Zeitachse innerhalb der eigenen Service-Spans des Kunden.
• Agents as Entities: Jeder Agent aus Claude Managed Agents erhält eine eigene Entität mit Latenz und Fehlerrate.
• Conversation Replay: Eine Sitzung lässt sich Nachricht für Nachricht durchgehen, mit Prompts und Antworten neben den Zeitwerten, sofern Full content aktiviert ist.
• Alerts and Dashboards: NRQL-Alerts und bestehende Dashboards funktionieren mit den Daten.

Tool-Nutzung kontrollieren

Ist Full content aktiviert, enthält jeder Tool-Span die Argumente und das Ergebnis des Tools. So entsteht ein Protokoll darüber, worauf jeder Agent zugegriffen hat. Alternativ können Kunden Metadata only wählen, wobei Zeitwerte, Bezeichner und Namen erhalten bleiben.

Dieselben Spans können New Relic AI Evaluation speisen, das sich in der Public Preview befindet. Bei aktiviertem Full content prüft es Live-Prompts und -Completions von Claude auf Prompt Injection, Offenlegung personenbezogener Daten (PII) und toxische Inhalte.

Einrichtung und Verfügbarkeit

Ein Organisationsadministrator fügt New Relic auf der OpenTelemetry-Einstellungsseite der Claude Console als Ziel hinzu, wählt eine New-Relic-Region (US, EU oder JP), gibt einen Ingest-Lizenzschlüssel ein und legt fest, welche Workspaces Traces senden. Außerdem richten Teams das Tracing im Claude SDK ein, wie es Anthropics OpenTelemetry-Leitfaden zeigt, und richten den OpenTelemetry-Exporter der Anwendung auf New Relic aus. Laut New Relic treffen die Spans nach etwa einer Minute ein, ohne dass auf der API-Seite Codeänderungen nötig sind.

Das Claude-Platform-Tracing befindet sich für die erstanbieterseitige Claude Platform in der Public Beta. New Relic zufolge folgt die Unterstützung für Amazon Bedrock und Google Cloud Vertex AI in Kürze.

Was das für Teams mit Claude-Agenten bedeutet

Für Teams, die Claude-Agenten neben ihren eigenen Diensten betreiben, bringt die Änderung Modellverhalten und Anwendungsleistung in einen Trace statt in getrennte Konsolen. Langsame Tool-Aufrufe, nachgelagerte APIs und Datenbanken lassen sich in derselben Ansicht wie die Modellanfragen untersuchen. Teams, die ein Protokoll der Agentenaktivität oder eine Inhaltsprüfung benötigen, können je nach gewünschter Menge erfasster Prompt- und Antwortdaten zwischen Full content und Metadata only wählen.