Arize Phoenix aktualisiert LLM-Modellpreise jetzt automatisch

Was sich bei der Kostenerfassung ändert

Phoenix nutzt einen Preiskatalog, um die Kosten von LLM-Aufrufen in Traces zu berechnen. Für jeden Aufruf wendet das Tool die Token-Preise des Modells auf die erfasste Token-Nutzung an und addiert das Ergebnis zur Gesamtsumme des Traces.

Bisher kamen Aktualisierungen der integrierten Preise nur mit neuen Phoenix-Releases. Fehlten im Katalog die Preise eines Modells, mussten Nutzer Phoenix aktualisieren oder eine eigene Konfiguration hinterlegen. Mit den automatischen Updates kann ein Server neue Preise auch zwischen zwei Releases erhalten.

Welcher Katalog aktiv ist, zeigt sich unter Settings > Models, wo die Angabe „Built-in prices from“ steht. Arize weist darauf hin, dass das danebenstehende Datum angibt, wann der Katalog erzeugt wurde, und nicht, wann der Server zuletzt nach Updates gesucht hat.

So funktioniert das Update im Hintergrund

Kurz nach dem Start prüft der Server, ob ein neuerer Katalog vorliegt, und wiederholt die Prüfung danach etwa einmal täglich. Die Prüfungen laufen im Hintergrund, ein Neustart ist nicht nötig. Der Katalog wird aus dem Arize-Phoenix-Repository auf GitHub heruntergeladen. Arize zufolge erzeugt das Unternehmen die Datei aus der Modellpreisliste von LiteLLM und veröffentlicht sie als JSON.

Phoenix vergleicht das Erstellungsdatum des heruntergeladenen Katalogs mit dem des aktuell verwendeten. Ist der Download neuer, speichert Phoenix die Modelleinträge und Token-Preise gemeinsam in einer einzigen Datenbanktransaktion und vermerkt, welchen Katalog es angewendet hat. Nach einem Neustart sorgt dieser Vermerk dafür, dass ein älterer mitgelieferter Katalog bereits heruntergeladene neuere Preise nicht überschreibt.

Wenn sich mehrere Phoenix-Server eine PostgreSQL-Datenbank teilen, sorgt eine Datenbanksperre dafür, dass immer nur ein Server ein Update einspielt. Jeder Server prüft vorher, ob der Katalog tatsächlich noch neuer ist. Schlägt ein Download fehl, behält der Server seine bisherigen Preise, protokolliert den Fehler und versucht es bei der nächsten planmäßigen Prüfung erneut. Der Start wartet nicht auf den Download.

Die aktualisierten Preise gelten für neu eingehende LLM-Spans, sobald der Preis-Cache aktualisiert wurde. Bereits erfasste Kosten bestehender Traces werden nicht neu berechnet. Für ein Modell konfigurierte eigene Preise haben weiterhin Vorrang vor den passenden integrierten Preisen, sodass Teams verhandelte Konditionen mit Anbietern beibehalten können.

Deaktivieren und Preise überprüfen

Teams, die Preisänderungen im Rahmen eines Release-Prozesses prüfen, können den automatischen Download abschalten, indem sie auf dem Phoenix-Server die Umgebungsvariable PHOENIX_DISABLE_MODEL_COST_AUTO_UPDATE=true setzen. Auch bei Installationen, die bereits PHOENIX_ALLOW_EXTERNAL_RESOURCES=false gesetzt haben, sind die Preis-Downloads deaktiviert. In beiden Fällen behält Phoenix seine bestehenden Preise und kann bei einem Upgrade von Phoenix einen neueren mitgelieferten Katalog übernehmen.

Arize empfiehlt nach der Wahl der Bezugsart drei Kontrollen:

• Unter Settings > Models das Katalogdatum einsehen und den Preiseintrag für das eigene Modell suchen.
• Eine neue Anfrage über eine instrumentierte Anwendung senden, den Trace öffnen und prüfen, ob das erfasste Modell und die Token-Zahlen zum Aufruf passen, bevor man die berechneten Kosten betrachtet.
• Bei verhandelten Preisen prüfen, ob die eigene Konfiguration die erwarteten Tarife enthält.

Fehlen im Katalog Preise, die ein Nutzer benötigt, bittet Arize darum, Modell und Anbieter im Community-Slack zu nennen.

Was das für Phoenix-Nutzer bedeutet

Für Teams, die Phoenix selbst hosten, können die Kostenangaben in Traces nun Preisänderungen der Anbieter und neuen Modellen folgen, ohne auf ein Software-Upgrade zu warten. Teams mit strengerer Änderungskontrolle können das bisherige Verhalten mit einer einzigen Einstellung beibehalten, und wer eigene Tarife hinterlegt hat, bleibt von Katalog-Updates unberührt.