Vercel erweitert AI Gateway um Virtual Models: KI-Modelle tauschen ohne Redeploy

Eine ID pro Aufgabe, Konfiguration im AI Gateway

Vercel beschreibt ein Virtual Model als Abstraktion des Modell-Strings und der Konfigurationen, die Apps und Entwickler verwenden. Ein Team legt für eine Aufgabe eine ID an, etwa vmc/coding-agent, und bestimmt dann das Modell und die zugehörigen Einstellungen. Die ID wird überall dort als Modell-String übergeben, wo die Aufgabe aufgerufen wird, und die Konfiguration gilt überall, wo diese ID verwendet wird.

Als Grund nennt das Unternehmen das Tempo der Modellveröffentlichungen. In den vergangenen 90 Tagen wurden im AI Gateway 125 neue Modelle von mehr als 10 Labs verfügbar, was nach Angaben von Vercel etwa 10 pro Woche entspricht. Das AI Gateway machte den Wechsel bereits zu einer Änderung in einer einzigen Zeile, doch diese Zeile steht weiterhin im Anwendungscode, sodass ein Wechsel in der Regel einen Redeploy bedeutet. Virtual Models verlagern diese Entscheidung aus dem Code heraus.

In Vercels Beispiel legt ein Team das Virtual Model mit der Vercel CLI an und verweist es auf anthropic/claude-opus-5.5, mit einer Konfiguration, die die Geschwindigkeit auf „fast“ setzt und Zero Data Retention aktiviert. Später kann dasselbe Virtual Model so bearbeitet werden, dass es auf openai/gpt-6.1-sol zeigt. Laut Vercel übernimmt jede App und jeder Agent, die bzw. der die ID aufruft, die Änderung innerhalb weniger Minuten.

Ein maßgeschneidertes Modell für jede Aufgabe

Vercel argumentiert, dass unterschiedliche Aufgaben unterschiedliche Anforderungen haben. Die Triage von Support-Tickets kann hunderte Male pro Stunde laufen und muss günstig sein. Die Prüfung juristischer Verträge läuft vielleicht nur wenige Male am Tag, erfordert aber ein hohes Maß an Reasoning. Jede Aufgabe kann nun ein eigenes Virtual Model erhalten, das sich im Lauf der Zeit weiterentwickelt.

Einstellungen wie Fallbacks, Zero Data Retention und Tags bleiben beim Virtual Model, wenn sich das zugrunde liegende Modell ändert. Provider-Optionen funktionieren anders: Sie gelten pro Anbieter, sodass eine Anthropic-spezifische Einstellung nicht mehr greift, wenn das Virtual Model auf ein OpenAI-Modell umgestellt wird. Vercel rät dazu, die Provider-Optionen zu prüfen, wann immer ein Team den Anbieter wechselt.

Für den Produktivbetrieb empfiehlt das Unternehmen, ein zweites Virtual Model anzulegen, zum Beispiel vmc/coding-agent-candidate, es auf das neue Modell zu richten und dagegen Evals laufen zu lassen. Sinkt die Qualität nach dem Wechsel, lässt sich das ursprüngliche Virtual Model wieder auf das vorherige Modell zurückstellen.

Coding-Agenten werden ausdrücklich als Anwendungsfall genannt. Vercel zufolge lassen sich Tools wie Claude Code und Codex mit vercel ai-gateway setup anbinden, woraufhin das Virtual Model in der Modellauswahl oder Konfiguration des jeweiligen Agenten gewählt wird. Laut Changelog können Teams so auch Reasoning-Aufwand, Fast Mode, Prompt Caching und weitere Optionen festlegen, selbst wenn der Agent sie nicht anbietet.

Zentrale Steuerung und Kostenkontrolle

Jede Person in einem Team kann ein Virtual Model aufrufen, während Teamrollen regeln, wer es ändern darf. Vercel zufolge können Plattform- und Security-Teams so Modelle und Einstellungen zentral steuern und testen, während andere Teams weiterhin Zugriff auf neue Modelle erhalten, sobald diese erscheinen.

Einstellungen eines Virtual Models haben Vorrang vor denselben Einstellungen in einer Anfrage. Aufrufer können die gewählte Anbieterreihenfolge, die Fallbacks oder die Service-Stufe nicht überschreiben. Verlangt ein Virtual Model Zero Data Retention oder Anbieter, die nicht mit Anfragedaten trainieren, werden diese Vorgaben auch dann durchgesetzt, wenn eine Anfrage zeroDataRetention oder disallowPromptTraining ausdrücklich auf false setzt.

Tags eines Virtual Models ersetzen alle mit der Anfrage gesendeten Tags, sodass die Kosten der Aufgabe zugeordnet werden, unabhängig davon, wie die einzelnen Apps ihre Aufrufe taggen. Eine Seite „Virtual Models“ zeigt für jede Aufgabe Anfragen, Kosten und Erfolgsquote.

Verfügbarkeit und Bedeutung für Teams

Virtual Models lassen sich im Team-Dashboard oder mit der Vercel CLI anlegen. Im Dashboard öffnet man die Seite „Virtual Models“, klickt auf „Create Virtual Model“, gibt einen Slug ein, wählt das zugrunde liegende Modell, konfiguriert die Einstellungen und speichert. Zur Nutzung ersetzt ein Entwickler die Modell-ID des Anbieters in Anfragen über das AI SDK oder kompatible APIs durch vmc/<slug>.

Laut Vercel funktionieren Virtual Models mit allen Modelltypen im AI Gateway, darunter Bild-, Video-, Sprach-, Embedding- und Realtime-Modelle, sowie mit dem AI SDK und den OpenAI- und Anthropic-kompatiblen APIs.

Das AI Gateway bietet eine einheitliche API zum Aufrufen von Modellen, zur Erfassung von Nutzung und Kosten sowie zur Konfiguration von Wiederholungsversuchen und Failover. Vercel gibt an, die Preise der Anbieter ohne Aufschlag weiterzugeben und keine Plattformgebühr auf Inferenz zu erheben, auch nicht bei Anfragen mit eigenem Schlüssel (Bring Your Own Key).

Für Teams, die mehrere Agenten und Apps betreiben, besteht der von Vercel beschriebene praktische Effekt darin, dass Modellwahl, Failover und Regeln zur Datenspeicherung an einer Stelle verwaltet und ohne Auslieferung von neuem Code geändert werden können.