Vercel integriert OpenAIs Decisions API in AI Gateway für strukturierte Antworten statt Text

Was die Decisions API leistet

Laut Vercel beantworten Decision-Modelle typisierte Fragen zu einer gemeinsamen Eingabe. Statt Freitext zu erzeugen, geben sie strukturierte Ergebnisse zurück: Wahrscheinlichkeiten, Auswahlen und Scores. Als passende Einsatzfelder nennt Vercel Routing, Triage, Guardrails und Rubric Scoring, also die Bewertung anhand eines Kriterienrasters.

Entwicklerinnen und Entwickler können in einer einzigen Anfrage mehrere Arten von Fragen zur selben Eingabe stellen. Unterstützt werden Prädikatsfragen (Ja/Nein), Auswahlfragen (Choice) und Score-Fragen.

Die API lässt sich mit GPT-6 Luna Decisions oder jedem anderen Decision-Modell im AI Gateway nutzen. Zu den Modellen, die sich im Feld model angeben lassen, zählt Vercel Jev, Liquid d1 und Laya.

Modell-IDs und Abrechnung

Vercel betont, dass openai/gpt-6-luna-decisions eine eigene Modell-ID ist und sich von openai/gpt-6-luna unterscheidet. Letzteres bleibt ein Sprachmodell zur Textgenerierung. Anfragen an die Decisions-ID gehen laut Vercel an die Decisions API und werden zu deren Tarifen abgerechnet.

Die API lässt sich mit dem OpenAI SDK, dem AI SDK, der bestehenden HTTP-API unter /v1/evaluate oder der AI CLI aufrufen.

So funktioniert der Aufruf

Mit dem OpenAI SDK richten Entwickler den Client über die Basis-URL https://ai-gateway.vercel.sh/v1 auf das AI Gateway aus und rufen decisions.create so auf wie direkt bei OpenAI. In Vercels Beispiel lautet die Eingabe "I was charged twice. Please refund me.", dazu kommt eine Auswahlfrage namens department. Sie fragt, welches Team die Nachricht bearbeiten soll, mit zwei Optionen: billing (Abbuchungen und Erstattungen) und technical (Fehler und Ausfälle).

Die Antworten kommen als Array in der Reihenfolge der Fragen zurück, und jede Antwort trägt den Namen ihrer Frage. Im AI SDK werden die Fragen über ihren Namen als Schlüssel angesprochen, der Ja/Nein-Typ heißt dort boolean. Jeder Schlüssel in questions wird zu einem Schlüssel in answers.

• OpenAI SDK: decisions.create setzt Version 7.30.0 oder höher für JavaScript beziehungsweise 3.26.0 oder höher für Python voraus.
• AI SDK: experimental_decide setzt ai 7.0.128 oder höher voraus.

Was das für Entwickler bedeutet

Für Teams, die das AI Gateway bereits nutzen, eröffnet die Neuerung einen Weg, strukturierte Klassifikations- und Bewertungsergebnisse über dasselbe Gateway und mit vertrauten SDKs zu erhalten, ohne generierten Text auswerten zu müssen. Aufgaben wie das Weiterleiten einer Support-Nachricht an das richtige Team lassen sich als typisierte Frage mit festgelegten Auswahloptionen formulieren.

Für Anfragelimits und Fehlerformate verweist Vercel auf die Referenz der OpenAI-kompatiblen Decisions API, auf die Decision-Dokumentation des AI SDK sowie auf eine Übersicht aller Decision-Modelle im AI Gateway.