Arize AX integriert Together AI und senkt die Kosten für LLM-as-a-Judge-Evaluierungen

Warum Evaluierungskosten schnell steigen

Arize zufolge können die Kosten für Evaluierungen deutlich steigen, wenn KI-Teams ihre Evaluierungs-Workflows skalieren. LLM-as-a-Judge-Setups greifen oft auf leistungsstarke Frontier-Modelle zurück, selbst wenn kleinere und günstigere Modelle für die Aufgabe ausreichen könnten.

Das Unternehmen nennt ein Beispiel: Ein Team prüft mit einem Frontier-Modell Tausende Antworten des Kundensupports auf Korrektheit. Jede Evaluierung ist ein zusätzlicher Aufruf eines teuren Modells und erhöht die Betriebskosten des KI-Systems. Ein kleineres offenes Modell könnte dieselbe Aufgabe günstiger erledigen.

Der Haken: Ein Team muss laut Arize zunächst verstehen, wie nahe die Bewertungen des günstigeren Modells an denen des bisherigen Bewerters liegen und ob es dieselben Fehler zuverlässig erkennt.

Was die Together-AI-Integration bietet

Together AI bietet über eine OpenAI-kompatible API Zugriff auf eine breite Auswahl offener Modelle. Mit der Integration können Teams unterstützte Together-AI-Modelle im Arize AX Playground für LLM-as-a-Judge-Evaluierungen, Datenlabeling und Modellvergleiche nutzen.

Arize nennt vier Hauptanwendungen:

• Evaluierungen mit offenen Modellen durchführen. Together-AI-Modelle können Daten bewerten und labeln. Arize AX unterstützt eigene LLM-as-a-Judge-Evaluatoren, die Ausgaben von Anwendungen anhand vom Team definierter Kriterien bewerten.
• Modellleistung vergleichen. Teams können im Playground verschiedene Modelle und Prompts testen, um zu sehen, wie sie auf dieselben Eingaben reagieren.
• Günstigere Evaluierungen prüfen. Teams können testen, ob kleinere, günstigere Modelle für Aufgaben, die bisher teurere Modelle übernehmen, ausreichend verlässliche Bewertungen liefern.
• Auf Einrichtung eigener Endpunkte verzichten. Together AI lässt sich direkt mit AX verbinden, ohne dass eine eigene Modellintegration entwickelt oder gewartet werden muss.

Arize argumentiert, Teams sollten Modelle nicht allein nach Benchmark-Ergebnissen oder Preis auswählen. Stattdessen könnten sie die Leistung mit den eigenen Daten messen und entscheiden, ob die möglichen Einsparungen einen Wechsel rechtfertigen.

So funktioniert die Einrichtung

In Arize AX gehen Nutzer zu Settings → AI Providers, wählen Together AI aus und geben ihren Together-AI-API-Schlüssel ein. Nach der Verbindung lassen sich unterstützte Together-AI-Modelle nutzen, um Evaluierungen durchzuführen, Labels zu erzeugen und die Modellleistung im Playground zu vergleichen. Für weitere Konfigurationsdetails verweist Arize auf die Dokumentation zur Together-AI-Anbieterintegration.

Was das für Teams bedeutet

Für Teams mit wachsenden Evaluierungslasten bietet die Integration einen direkten Weg zu prüfen, ob ein günstigeres offenes Modell einen teureren Bewerter ersetzen kann. Arize betont, die Modellwahl könne die KI-Ausgaben spürbar beeinflussen, und der Ansatz erlaube es Teams, diese Entscheidung auf Basis ihrer eigenen Evaluierungsergebnisse zu treffen.

Zudem weist Arize darauf hin, dass Evaluierungskosten nur ein Teil des Gesamtbilds sind. Für die Ausgaben im Produktivbetrieb bietet Arize AX den Cost Agent, einen verwalteten Agenten, der Traces aus der Produktion analysiert, um ineffiziente Modellentscheidungen, redundante Aufrufe und weitere Einsparmöglichkeiten zu erkennen. Außerdem gibt es laut Unternehmen einen kostenlosen Einstieg in Arize AX.