Arize AX erhält Cost Agent, der verschwendete Ausgaben für LLMs und KI-Agenten aufspürt

Was der Cost Agent leistet

Laut Arize schlüsselt der Cost Agent die Ausgaben nach Modell, Aufgabe und Zeitfenster auf und legt anschließend priorisierte Kostenprobleme an. Zu jedem Problem gehören das mögliche Einsparpotenzial und ein Lösungsvorschlag. Als Beispiel nennt das Unternehmen den Wechsel eines Eval-Judges für Agenten auf ein günstigeres Modell.

Die Ergebnisse werden nach Ursache gruppiert. Ein wiederkehrendes Muster erscheint daher als ein einziges Problem statt als Hunderte einzelner teurer Aufrufe, so Arize.

Vier Arten von Kostenproblemen

Arize nennt vier Problemkategorien, nach denen der Agent sucht:

• Überdimensionierte Modellstufen. Übernimmt ein teures Modell Aufgaben mit geringer Komplexität, vergleicht der Agent die aktuellen Ausgaben mit den Kosten, die dasselbe Aufrufvolumen bei einer günstigeren Stufe verursachen würde.
• Redundante oder doppelte Aufrufe. Der Agent zählt die Duplikate und summiert die dadurch verschwendeten Kosten.
• Ausufernde Retries. Ruft ein Trace nach einem Fehler weiter das Modell auf, meldet der Agent die Zahl der Wiederholungen pro Trace und deren Kosten.
• Teure Prompts. Große Prompts können durch wachsenden Kontext oder überdimensionierte Tool-Antworten entstehen. Der Agent meldet Perzentile der Prompt-Token und die Grenzkosten der zusätzlichen Token.

Arize rät, vor einem Wechsel zu prüfen, ob ein günstigeres Modell die Anforderungen erfüllt, und verweist auf seinen Leitfaden zur Validierung kostengünstigerer Alternativen mit Evals.

So werden die Kosten berechnet

Hat ein Span ein Kostenattribut, verwendet der Agent dieses. Andernfalls berechnet Arize AX die Kosten aus den Token-Zahlen des Spans, anhand der konfigurierten Preise für das jeweilige Modell und den Anbieter. Spans, die für eine Kostenberechnung nicht genügend Informationen enthalten, werden ausgeschlossen; der Cost Agent meldet, wie viele das betrifft. Wer in seinen Span-Attributen keine Kosten ausweist, sollte vor dem Start des Agenten das Kosten-Tracking einrichten.

Einsatz in Arize AX

Jeder Lauf analysiert ein AX-Projekt und liefert priorisierte Möglichkeiten zur Kostensenkung, inklusive Belegen, geschätzter Einsparungen und eines Lösungsvorschlags. Nutzer starten über Signal & Agents, dann + New Agent und Cost Agent, wählen ein Projekt aus und legen einen Modus fest.

• Automation Run: läuft nach Zeitplan, standardmäßig wöchentlich. Jeder Lauf legt priorisierte Kostenprobleme an derselben Stelle ab, an der Signal seine Probleme ablegt, bezogen auf Ausgaben statt auf Korrektheit. Spätere Läufe können bestehende Probleme erneut bestätigen, ohne Duplikate zu erzeugen.
• Session Run: läuft einmalig und liefert die Analyse im Transkript, mit den Gesamtausgaben für das Zeitfenster, einer Aufschlüsselung pro Modell und priorisierten Engpässen samt Kostenlösung für jeden.

Vor dem Start können Nutzer den Aufgaben-Prompt bearbeiten und Kontext zu Kostenvorgaben und freigegebenen Modellen ergänzen. Damit der Agent einen Pull Request für eine Routing- oder Konfigurationsänderung eröffnen kann, lässt sich der optionale GitHub-Skill hinzufügen.

Verfügbarkeit und Preise

Der Cost Agent steht Arize-AX-Enterprise-Konten zur Verfügung. Arize zufolge werden Managed Agents, einschließlich Cost Agent, derzeit mit unbegrenzter Nutzung angeboten. Eine nutzungsbasierte Preisgestaltung soll folgen; Details will das Unternehmen vor Inkrafttreten bekannt geben.

Für Teams, die LLM-basierte Anwendungen und Coding-Agenten betreiben, adressiert das Tool ein konkretes Problem: herauszufinden, welche Modelle, Prompts und Retry-Schleifen die Kosten treiben, und daraus konkrete Änderungen abzuleiten. Arize empfiehlt Enterprise-Nutzern, den Agenten zunächst auf ihr ausgabenstärkstes Projekt anzuwenden.