DigitalOcean Inference Router wählt jetzt pro Anfrage das beste Modell aus

Ein Modellname, viele Modelle dahinter

Entwickler setzen das Modell auf inference-router, senden einen Prompt und fügen bei Bedarf eine Präferenz hinzu. Der Router leitet jede Anfrage dann an das Modell weiter, das er für die jeweilige Aufgabe als am besten geeignet einschätzt, gestützt auf öffentliche Benchmarks, so DigitalOcean.

Hinter dem Router steht der gesamte DigitalOcean Model Catalog. Er umfasst Frontier-Modelle von Anthropic und OpenAI sowie Open-Source-Modelle wie Kimi, GLM und DeepSeek. Laut DigitalOcean durchläuft jedes neue Modell denselben Test, und Modelle, die überzeugen, werden in den Router aufgenommen.

Das Unternehmen beschreibt das Problem als ständigen Wandel: Alle paar Wochen beansprucht ein neues Modell den Spitzenplatz, und Teams verbringen eine Woche mit Evaluierungen, Vergleichstests und Diskussionen, bevor sie entscheiden, ob sie wechseln. Diese Entscheidung soll der Router übernehmen. DigitalOcean argumentiert zudem, dass Kunden durch die Weiterleitung jeder Anfrage an ein passendes Modell nicht mehr Frontier-Preise für Aufgaben zahlen, die ein schlankeres Modell genauso gut erledigt.

In internen Tests zu Softwareentwicklung, Reasoning und agentischen Aufgaben erzielte der Inference Router laut DigitalOcean eine höhere Genauigkeit als Claude Opus 5.5 und GPT-6 Astra, bei rund 22 Prozent geringeren Kosten. Das Unternehmen weist darauf hin, dass die Werte aus internen Evaluierungen mit Stand 12. Oktober 2026 stammen, die Ergebnisse je nach Konfiguration variieren und von öffentlichen Ranglisten abweichen können.

So funktioniert das Routing

DigitalOcean misst Modelle nach eigenen Angaben über eine breite Palette von Aufgaben und bewertet dabei Qualität, Kosten und Latenz. Diese Daten entscheiden, welches Modell bei welcher Aufgabe gewinnt. Trifft eine Anfrage ein, liest ein Routing-Modell sie, ordnet sie einer Aufgabe zu und berücksichtigt die Präferenz des Kunden, um ein Modell auszuwählen.

Der Router gilt als cache-bewusst. Er versucht, bei einem Modell zu bleiben, um dessen Cache weiterzunutzen, es sei denn, ein Wechsel lohnt sich. Weil die Evaluierung vor dem Eintreffen einer Anfrage stattfindet, müssen Kunden nichts manuell konfigurieren, und ein neu veröffentlichtes Modell, das bei einer bestimmten Aufgabe besser abschneidet, wird automatisch berücksichtigt.

Zunächst ist der Router auf drei Aufgabenkategorien trainiert:

• Softwareentwicklung
• Agentische Workflows
• Allgemeine Intelligenz und Reasoning

Die Seite „Getting Started“ in der DigitalOcean Cloud Console zeigt die Benchmarks hinter jedem Anwendungsfall, wie der Router im Vergleich zum besten Einzelmodell abschneidet und zwischen welchen Modellen er wählt. Laut Unternehmen wird die Seite aktualisiert, sobald ein Modell hinzukommt oder eine Evaluierung erneut läuft.

Präferenzen und eigene Evaluierungssets

Die meisten Anfragen sollten laut DigitalOcean keine Eingaben erfordern, da der Dienst vom Unternehmen durchgängig verwaltet wird. Wer das Ergebnis steuern möchte, kann mit der Präferenz budget kostengünstigere Modelle bevorzugen oder mit quality auf Qualität setzen, wenn der Erfolg entscheidend ist. Die Standardeinstellung routing_preference: balanced soll für die meisten Kunden funktionieren.

DigitalOcean räumt ein, dass gute Ergebnisse bei öffentlichen Benchmarks und internen Evaluierungen nichts darüber aussagen, wie der Router bei der eigenen Workload der Kunden abschneidet. Deshalb plant das Unternehmen, Nutzern die Möglichkeit zu geben, ein eigenes Bewertungsraster mitzubringen. Kunden würden ein Evaluierungsset bereitstellen, und ihre Definition von Erfolg entschiede darüber, welches Modell gewinnt. Das Unternehmen will diese Evaluierungen erneut ausführen, sobald ein neues Modell erscheint. Die Funktion ist noch nicht verfügbar; über die Seite „Getting Started“ in der DigitalOcean Console lässt sich ein früher Zugang anfragen.

Verfügbarkeit und Einstieg

Der Inference Router ist ab sofort in der Public Preview verfügbar. Laut DigitalOcean entstehen während der Preview keine zusätzlichen Kosten, abgerechnet werden nur die Modelle, die die jeweilige Anfrage bearbeiten.

Zum Einstieg öffnen Nutzer den Inference Router im DigitalOcean Control Panel und erzeugen einen Model Access Key, falls noch keiner eingerichtet ist. API-Aufrufe gehen dann an https://inference.do-ai.run/v1 mit inference-router als Modell. Das Beispiel in der Ankündigung ist eine Chat-Completions-Anfrage mit der Präferenz „balanced“.

Für Teams, die bisher bei jeder Verschiebung der Modelllandschaft eigene Evaluierungen und Routing-Regeln pflegen, lautet das Versprechen: ein einziger Endpunkt, der die Auswahl übernimmt. Ob die angegebenen Vorteile bei Genauigkeit und Kosten für eine konkrete Workload gelten, muss sich erst zeigen. Genau deshalb ist die geplante Option für eigene Evaluierungen wichtig.