Datadog nimmt Fireworks AI als Modellanbieter für Agent Observability auf

Eigenen Fireworks-AI-Schlüssel verwenden

Die Integration richtet sich an Teams, die Agenten auf offenen, bei Fireworks AI gehosteten Modellen entwickeln, darunter GPT-OSS, Kimi, GLM, Qwen und MiniMax. Laut Datadog benötigen diese Teams eine zuverlässige Möglichkeit, zu messen, ob ihre LLM-Anwendungen und Agenten effizient genaue, sichere und hilfreiche Antworten liefern.

Kunden bringen ihren eigenen Fireworks-AI-API-Schlüssel mit. Nachdem das Konto einmal verbunden wurde, steht jedes Modell, auf das es zugreifen kann, überall dort zur Verfügung, wo Nutzer in Agent Observability einen Modellanbieter auswählen können. Datadog zufolge erhalten Teams dadurch einen durchgängigen Einblick in Agenten, die auf Fireworks AI basieren, von Traces und der Token-Nutzung bis hin zu Qualitätsbewertungen.

LLM-as-a-judge-Evaluierungen mit Fireworks-AI-Modellen

Bei LLM-as-a-judge-Evaluierungen bewertet ein Modell die Eingaben und Ausgaben einer LLM-Anwendung. Laut Datadog lassen sich damit Probleme wie Halluzinationen, themenfremde Antworten oder eine negative Nutzerstimmung in großem Maßstab erkennen.

Wenn Fireworks-AI-Modelle als Prüfer fungieren, können Teams das Modell an die jeweilige Aufgabe anpassen. Datadog nennt drei Beispiele:

• ein größeres Modell wie gpt-oss-120b für differenzierte Qualitätsprüfungen
• einen Router-Endpunkt mit geringer Latenz für Bewertungen in großem Umfang
• ein eigenes feinabgestimmtes Modell des Kunden für domänenspezifische Kriterien

Da die Evaluierungen im Fireworks-AI-Konto des Kunden ausgeführt werden, richtet sich die Modellnutzung nach den dort bereits eingerichteten Abrechnungs- und Governance-Kontrollen. Teams können für jede Evaluierung selbst den Kompromiss zwischen Kosten und Qualität festlegen. Laut Datadog ist es außerdem nicht nötig, eine separate Pipeline zu bauen, um Traces zu exportieren, ein Modell aufzurufen und die Bewertungen zurückzuschreiben.

Datadog führt die Evaluierung mit dem ausgewählten Modell anhand von Produktions-Traces durch und bewertet Eigenschaften wie Faktentreue, thematische Relevanz oder Stimmung. Die Ergebnisse erscheinen neben jedem Span. Nutzer können sie im Zeitverlauf verfolgen, Traces nach Bewertung filtern und bei Verschlechterungen Warnmeldungen einrichten.

Prompts im Playground testen

Mit dem Agent Observability Playground können Teams Prompts iterieren, bevor sie in die Produktion gelangen. Datadog beschreibt das Beispiel einer Online-Reiseagentur, die einen Support-Assistenten betreibt und wissen möchte, ob ein offenes Modell Fragen zu Erstattungen und Stornierungen für den Live-Chat genau und schnell genug beantworten kann.

Im Playground kann ein Nutzer einen System-Prompt und eine echte Kundenfrage mit gpt-oss-120b ausführen und die Antwort zusammen mit Token-Anzahl und Latenz anzeigen. Anschließend lassen sich andere Fireworks-AI-Modelle einsetzen, darunter Router-Endpunkte mit geringer Latenz wie Nexus Auto, um Antwortqualität, Geschwindigkeit und Kosten gegeneinander abzuwägen. Der vollständige Trace jedes Durchlaufs kann geöffnet werden, um zu sehen, welche Eingaben das Modell erhalten und welche Ausgaben es erzeugt hat.

Ein vielversprechender Prompt kann mit einem Datensatz echter Kundenfragen ausgeführt werden, um zu prüfen, ob er sich über ein einzelnes Beispiel hinaus bewährt. Sobald Modell und Prompt ausgewählt sind, kopiert die Option „Get Code“ die Konfiguration in die Anwendung. Dieselben Fireworks-AI-Modelle können anschließend die Evaluatoren antreiben, die die Anwendung in der Produktion überwachen.

Verfügbarkeit und Bedeutung

Laut Datadog ist die Fireworks-AI-Integration ab heute für alle Datadog-Agent-Observability-Kunden verfügbar. Eine Anleitung zur Einrichtung findet sich in der Dokumentation zur Fireworks-AI-Integration. Neue Datadog-Nutzer können mit einer 14-tägigen kostenlosen Testphase beginnen. Wer Fireworks AI neu nutzt, muss ein Konto anlegen, um einen API-Schlüssel zu erhalten.

Für Teams, die bereits offene Modelle auf Fireworks AI betreiben, bedeutet die Änderung, dass Evaluierung und Prompt-Tests am selben Ort wie Traces und Token-Nutzung stattfinden können. Dabei kommen Modelle aus einem Konto zum Einsatz, das sie bereits kontrollieren.