New Relic bringt AI Observability für OpenTelemetry-Daten ohne Datenduplikation

Das Problem, das New Relic adressieren will

New Relic argumentiert, dass mit der Standardisierung von Engineering-Teams auf OpenTelemetry für generative KI-Architekturen eine strukturelle Datentrennung Sichtbarkeitslücken erzeugt. Laut Unternehmen kann diese Fragmentierung zu unverwalteten Anwendungen und unüberwachter LLM-Token-Nutzung führen, die Cloud-Budgets belastet. Zudem können OTel-Trace-Streams von zentralen Sicherheits-Pipelines abgeschnitten bleiben.

Ohne einheitliches Tracking seien produktive Open-Source-KI-Dienste unentdeckten Prompt-Injections, PII-Lecks und Toxizitätsrisiken ausgesetzt, so New Relic. Das Unternehmen beschreibt diese als finanzielle und Compliance-Risiken.

Die Antwort des Unternehmens ist eine „Normalize on Read“-Architektur. Statt Daten zu duplizieren oder Entwickler zum Umschreiben von Code zu zwingen, gleicht die Plattform unterschiedliche Schemata zum Abfragezeitpunkt an.

Kostenkontrolle und Modellvergleich

Die Funktion bietet kontoweite Model Inventories, die Telemetrie aus Open-Source- und nativen APM-Agenten in Dashboards zusammenführen. New Relic nennt unter anderem den gesamten Token-Verbrauch, die Anfragelatenz und Fehlerraten als Metriken.

Eine Model-Comparison-Oberfläche nutzt eine Abfrageauflösung pro Spalte für das, was das Unternehmen als instrumentierungsübergreifendes Benchmarking bezeichnet. Ingenieure können einen Legacy-Dienst mit proprietärem APM-Agenten und einen neueren Microservice mit Open-Source-OpenTelemetry nebeneinander vergleichen, mit Kosten-, Latenz- und Qualitätsdaten auf einem Bildschirm. Ziel ist es, Teams bei der Wahl der kosteneffizientesten LLM-Konfiguration zu unterstützen.

Normalize on Read und zustandslose Verarbeitung

New Relic grenzt seinen Ansatz von Plattformen ab, die Daten beim Schreiben normalisieren und OTel-Spans am Ingestion-Gateway in proprietäre Eventformate umwandeln oder duplizieren. Das erhöht aus Sicht des Unternehmens Speichergebühren, Verarbeitungsaufwand und Cloud-Kosten.

In New Relics Design wird OTel-Telemetrie nativ in Standard-Span-Tabellen geschrieben, ohne Übersetzung bei der Aufnahme. Zur Laufzeit erkennt die Abfrage-Engine der Oberfläche die Telemetriequelle und passt ihre NRQL-Vorlagen an, um die Span-Tabelle direkt abzufragen.

Das Unternehmen verweist zudem auf die OpenTelemetry GenAI Semantic Conventions. Ein einzelner OTel-Span enthält sowohl Nutzer-Prompts (gen_ai.input.messages) als auch LLM-Antworten (gen_ai.output.messages) in einer Payload. Herkömmliche Hersteller-Agenten senden Prompts und Completions dagegen oft als getrennte Events, die zustandsbehaftetes Tracking und externes Caching zum Zusammensetzen benötigen. Ein dedizierter OtlpEvaluationHandler verarbeitet die Spans zustandslos, was laut New Relic Abhängigkeiten von Redis-Caching und Session-Rekonstruktion beseitigt und die Gesamtbetriebskosten senkt.

Shadow AI aufspüren und Sicherheitsprüfungen erweitern

New Relic beschreibt „Shadow AI“ als Microservices, die Open-Source-LLM-Bibliotheken ohne Wissen der Plattform- oder Sicherheitsverantwortlichen einsetzen. Um sie sichtbar zu machen, durchsucht eine TraceProcessor-Erweiterung in der Ingestion-Pipeline eingehende OTel-Traces nach gen_ai.-Semantikattributen. Wird eine LLM-Interaktion erkannt, extrahiert die Pipeline die Entity-GUID und veröffentlicht einen Tag aiEnabledApp:true auf der globalen Entity Platform, ganz ohne manuelles Tagging. Der Dienst erscheint dann in der zentralen AI-Monitoring-Oberfläche und gibt Plattformteams und SREs ein Inventar mit Filterung, Kostensegmentierung und Basis-Alerts.

In puncto Sicherheit leitet die Funktion Open-Source-Trace-Daten in den zentralen Evaluierungs-Stream. Laut Unternehmen ermöglicht das automatisiertes PII-Masking, Echtzeit-Schutz vor Prompt-Injection und Toxizitätsprüfung im Live-Traffic, ohne komplexe Sicherheits-Middleware.

Was das für Teams bedeutet

New Relic ordnet die Veröffentlichung drei Rollen zu. DevOps- und Plattformteams erhalten einheitliche Dashboards für die aggregierten LLM-Ausgaben. Sicherheits- und Compliance-Verantwortliche bekommen automatisches Tagging nicht erfasster Apps und Routing in ai_evaluation-Pipelines. OTel-KI-Entwickler erhalten eine Analyse von Prompt-Payloads und Token-Volumen, ohne ihre Codebasis zu ändern.

Laut Unternehmen sind für den Einsatz weder individuelles Umschreiben von Code noch ein Lock-in durch herstellerspezifische SDKs nötig, da die Plattform die standardisierten OpenTelemetry GenAI Semantic Conventions aufnimmt. Teams können weiterhin ihre bevorzugten Open-Source-Bibliotheken nutzen. Angaben zu Preisen oder Verfügbarkeit macht die Quelle nicht.