Entscheidungsmodelle erreichen 26 % der Vercel-AI-Gateway-Anfragen

Entscheidungsmodelle bieten eine kostengünstigere Option

Vercel zufolge sind Entscheidungsmodelle schnell zu einem bedeutenden Teil des produktiven KI-Datenverkehrs geworden. Diese Modelle klassifizieren, bewerten oder wählen zwischen Optionen, statt Text zu generieren. Nach Angaben des Unternehmens kosten sie pro Anfrage etwa ein Siebzigstel eines Sprachmodells.

Entscheidungsmodelle sind Mitte September in AI Gateway gestartet. Inzwischen sind 15 Modelle von acht Anbietern verfügbar. Im Oktober nutzte fast ein Drittel der zahlenden Teams eines davon, während 11 % ein Entscheidungsmodell verwendeten, ohne eine Anfrage an ein textgenerierendes Modell zu senden.

Die Modelle erhielten etwa eine von vier Gateway-Anfragen, machten wegen ihres geringeren Token-Verbrauchs und ihrer sehr kurzen Antworten aber nur 0,53 % der Gesamtausgaben aus. Fast der gesamte Datenverkehr entfiel auf Jev von TypeSafe AI, das fast viermal so viele Anfragen wie Anthropic insgesamt erhielt. Für jeden Dollar, den Teams für Jev ausgaben, gaben sie 64 Dollar für Anthropic-Modelle aus.

Am höchsten war die Nutzung bei den größten Teams. Sieben von zehn Teams, die mehr als 10 Milliarden Token pro Monat verarbeiteten, nutzten ein Entscheidungsmodell. Bei Teams mit weniger als 10 Millionen verarbeiteten Token war es dagegen nur etwas mehr als jedes fünfte.

Sprachnutzung steigt mit dem Ausbau bestehender Anwendungen

Im Oktober nutzten etwa 11 % der zahlenden Teams ein Sprachmodell, gegenüber 4 % im Juli. Vercel beziffert den Anstieg auf 161 %. Unter den Teams, die in beiden Monaten zahlten, stieg die Nutzung von Sprachmodellen von 5 % auf 14 %.

Eine typische gesprochene KI-Interaktion kombiniert Sprache-zu-Text, ein Sprachmodell, das die Antwort formuliert, und Text-zu-Sprache. Die Nutzung von Sprache-zu-Text-Modellen hat sich seit Juli fast verdreifacht, während die Nutzung von Text-zu-Sprache-Modellen um mehr als das Dreifache gestiegen ist. Im Juli nutzte etwa ein Viertel der Teams mit Sprachfunktionen ein Komplettmodell, und jedes sechste Team setzte die einzelnen Komponenten zusammen. Bis Oktober hatten sich diese Anteile umgekehrt.

Dem Bericht zufolge werden Sprachfunktionen meist als zusätzliche Möglichkeit ergänzt, wie Nutzer mit einer bestehenden Anwendung oder einem Agenten interagieren können. Der Anteil der Teams, die mindestens 100 Sprachanfragen pro Monat sendeten, verfünffachte sich. Sechs von zehn Teams mit Sprachfunktionen im September kehrten im Oktober zurück.

Anthropic gewinnt neue Teams, während der Modellwechsel zunimmt

OpenAI und Anthropic erreichten im Oktober nahezu den gleichen Anteil der zahlenden Teams. OpenAI wurde von 55 von 100 zahlenden Teams genutzt, Anthropic von 54. Unter den Teams, die im Oktober zum Gateway stießen, war Anthropic für fast doppelt so viele die erste Wahl wie OpenAI.

OpenAI steigerte seinen Anteil an den Gateway-Ausgaben dennoch auf fast 15 Cent je Dollar, gegenüber etwa 9 Cent im Dezember. Anthropic lag bei den Ausgaben weiterhin vorn, obwohl sein Anteil laut Vercel im selben Zeitraum von etwa 64 Cent auf rund 32 Cent fiel.

Mehr als die Hälfte der Anfragen an Sprachmodelle ging im Oktober an Modelle, die weniger als 60 Tage alt waren. Innerhalb einer Modellfamilie erscheint im Median alle 61 Tage eine neue Version, und ein typisches Modell erreicht innerhalb eines Monats nach dem Start seine höchste Nutzung. Vier Wochen später verwenden drei von vier Teams, die das Modell auf seinem Höchststand nutzten, es nicht mehr.

Etwa die Hälfte der Teams, die mindestens 10 Millionen Token pro Monat verarbeiteten, wechselte im Oktober ihr meistgenutztes Modell. Vier von fünf dieser Teams wechselten zu einer neueren Veröffentlichung, während sechs von zehn zu einem anderen Labor wechselten. Vercel zufolge basiert der Bericht auf anonymisiertem, aggregiertem Datenverkehr, der bis Oktober 2026 über AI Gateway geleitet wurde. Die Ausgaben wurden anhand veröffentlichter Listenpreise geschätzt.