Rafay führt budgetbasierte Steuerung für Frontier- und Open-Source-KI-Modelle ein

Ein Endpunkt für mehrere Modellanbieter

Token Router sitzt zwischen Anwendungen und den Orten, an denen die Inferenz ausgeführt wird. Das System kann Anfragen an Bereitstellungen im Cluster oder externe Anbieter wie OpenAI, Anthropic und jeden OpenAI-kompatiblen Endpunkt senden. Als Routing-Faktoren dienen dabei Priorität, der Zustand des Anbieters und die Kosten.

Anwendungen verwenden eine API und einen Satz Zugangsdaten, während Betreiber die Modellquelle ohne Codeänderungen wechseln können. Anfragen lassen sich zunächst an eine Anbietergruppe mit höchster Priorität senden und anschließend an eine andere Gruppe weiterleiten, wenn die primäre nicht verfügbar ist. Rafay nennt Konfigurationen wie selbst gehostete Modelle mit Cloud-Bursting, Frontier-Modelle mit Ausweichoption im Cluster sowie Routing über mehrere Anbieter.

Der Datenverkehr wird auf gesunde Anbieter innerhalb einer Gruppe verteilt. Anbieter, die Gesundheitsprüfungen nicht bestehen, werden automatisch aus der Rotation genommen und nach ihrer Erholung wieder aufgenommen. Rafay zufolge können Betreiber außerdem separate Preise für Eingabe-, Ausgabe-, zwischengespeicherte Eingabe- und Cache-Schreib-Tokens festlegen. Jede Anfrage wird entsprechend der Gruppe abgerechnet, die sie verarbeitet hat.

Budgets können Datenverkehr umleiten, statt ihn einfach zu blockieren

Mit Token Budgets können Administratoren tägliche oder monatliche Ausgabenlimits für eine Organisation, ein Projekt oder einen einzelnen Nutzer festlegen. Dabei wird die vom Dienstanbieter unterstützte Währung verwendet. Das Budget eines Nutzers gilt projektübergreifend, und jede Anfrage wird vor ihrer Zulassung anhand der jeweils geltenden Budgets geprüft.

Wenn ein Limit erreicht ist, kann die Richtlinie des Betreibers Anfragen ablehnen, ihre Verarbeitung fortsetzen oder auf ein kostengünstigeres Modell ausweichen. Token Router kann Datenverkehr außerdem auf ein günstigeres oder selbst gehostetes Modell umleiten, wenn sich ein Mandant, ein Team oder ein API-Schlüssel dem Budget nähert oder es erreicht. So erhalten Nutzer weiterhin Antworten, während die Ausgaben innerhalb des vom Administrator festgelegten Limits bleiben.

Neue Projekte und Nutzer übernehmen Standardbudgets, während Administratoren für umfangreichere Workloads Ausnahmen festlegen können. Schwellenwertwarnungen benachrichtigen Administratoren, bevor Limits erreicht werden. Entwickler können ihre Ausgaben und das verbleibende Budget im Rafay Developer Hub einsehen. Die Budgets werden täglich oder monatlich automatisch zurückgesetzt.

Zielgruppe: Neoclouds und KI-Teams in Unternehmen

Rafay zufolge richten sich die Funktionen an Neoclouds, die Open-Source-Modelle als Dienst anbieten, sowie an Unternehmen, die interne Token Factories betreiben. Ein Neocloud-Anbieter kann Frontier-Modelle über dieselbe API und dieselben Zugangsdaten in seinen Katalog aufnehmen, ein tägliches Kontingent für die Nutzung von Frontier-Modellen anbieten und zusätzlichen Datenverkehr anschließend an Open-Source-Modelle auf den eigenen GPUs weiterleiten.

In Unternehmen kann ein Plattformteam ein tägliches Frontier-Kontingent für ein Team oder eine Anwendung festlegen. Sobald dieses Kontingent ausgeschöpft ist, können Anfragen an ein Open-Source-Modell auf den GPUs des Unternehmens weitergeleitet werden, während Anwendungen weiterhin denselben Endpunkt aufrufen. Rafay zufolge unterstützt ein Dashboard zur Token-Nutzung mit Filterung nach Nutzer und CSV-Export die interne Verrechnung und Kostenumlage.

„Token Router und Token Budgets machen diesen Zielkonflikt zur Richtlinie“, sagte Mohan Atreya, Chief Product Officer bei Rafay Systems, in der Ankündigung. Rafay hat außerdem Unterstützung für LiteLLM Generic Guardrail API-Anbieter, eine separate Preisgestaltung für zwischengespeicherte Eingabe-Tokens sowie Richtlinien zur Rotation von API-Schlüsseln mit Ablauf, Überschneidungszeiträumen und Warnmeldungen ergänzt.