OpenAI macht Decisions API allgemein verfügbar, die auf GPT-6 Luna basiert

Was die Decisions API leistet

OpenAI beschreibt das Problem recht schlicht: Anwendungen und Agenten treffen in einem Workflow viele kleine Entscheidungen, etwa wie eine Eingabe klassifiziert wird, wohin eine Anfrage geleitet wird oder welche Aktion als Nächstes folgt. Jede einzelne ist einfach, doch im großen Maßstab summieren sich Latenz und Kosten.

Die Decisions API bündelt die Leistungsfähigkeit von GPT-6 Luna auf Fragen mit begrenztem Antwortraum. Entwickler definieren eine Frage samt zulässigen Antworten und liefern den Kontext als Text, Bilder oder natives JSON. Die API gibt einen von drei Antworttypen zurück, anhand dessen eine Anwendung entscheiden kann, wie es weitergeht.

• predicate: schätzt die Wahrscheinlichkeit, dass eine Bedingung zutrifft, zum Beispiel ob ein Produkt sichtbare Schäden aufweist. Das Ergebnis ist ein Wert zwischen 0 und 1.
• choice: wählt eine der vom Entwickler vorgegebenen Optionen aus, etwa ob ein Agent fortfahren, es erneut versuchen oder um Klärung bitten soll. Die Antwort enthält außerdem Wahrscheinlichkeiten und die Konfidenz.
• score: bewertet eine Eingabe anhand geordneter Stufen eines Bewertungsrasters, etwa den Schweregrad eines Schadens. Der Score ist der wahrscheinlichkeitsgewichtete Mittelwert der Stufenindizes.

Neu seit der öffentlichen Beta

OpenAI nennt mehrere Neuerungen seit der öffentlichen Beta. Dazu zählen eine native GPT-Live-Integration, Prompt Caching für wiederverwendeten Kontext sowie Inferenz-Residenz in den USA und der EU. Entwickler können native JSON-Eingaben übergeben, Bilder in die Frageanweisungen einbinden und bis zu 400 Fragen pro Anfrage stellen, doppelt so viele wie bisher. Das Unternehmen sagt, es habe zudem die Latenz weiter verbessert, unter anderem durch zusätzliche Kapazitäten in mehreren Regionen Asiens.

Die GPT-Live-Integration richtet sich an Sprachanwendungen. Laut OpenAI kann ein Kundenservice-Agent damit entscheiden, ob er eine Rückfrage stellt, eine Anfrage weiterleitet oder ein Problem eskaliert. Ein Avatar kann außerdem seine Mimik ändern, während ein Nutzer spricht, und je nach Wortwahl mit einem Zwinkern oder einem Lächeln reagieren. In dem von OpenAI genannten Beispiel fügen Entwickler in einer bestehenden GPT-Live-Sitzung eine Konfiguration zu session.triggers hinzu. Live sendet ein decision.event, die Anwendung liest die ausgewählte reaction aus und animiert die Figur entsprechend.

OpenAI bietet außerdem eine zeitlich begrenzte Demo an, in der die API anhand der Äußerungen von Nutzer und Assistent einen Gesichtsausdruck auswählt.

Wie Teams die API einsetzen

Laut OpenAI nutzen bereits Teams im ganzen Unternehmen die API für Produkt- und Geschäftsabläufe. Das dots-Team setzt sie ein, um Antwortzeiten zu verkürzen und die Interaktivität zu verbessern. Das Personal-Finance-Team kategorisiert damit Transaktionsbeschreibungen. Das Communications-Team ordnet damit Berichterstattung nach Themen und bewertet, ob sie zentrale Narrative stützt oder infrage stellt. So lässt sich erkennen, was eine genauere Prüfung verdient. Das Unternehmen fügt hinzu, Kunden nutzten die API für Aufgaben, die von der genauen Zuordnung von KI-Kosten bis zu interaktiveren Sprachlernangeboten reichen.

Preise, Verfügbarkeit und Einstieg

Die Decisions API ist über einen eigenen Decisions-Endpunkt mit GPT-6 Luna verfügbar. Der Preis beträgt 0,10 $ pro Million Input-Tokens, gecachter Input kostet 0,01 $ pro Million Tokens. OpenAI zufolge zahlen Entwickler nur für Input-Tokens, Output-Tokens werden nicht berechnet. Details zu gecachten Schreibvorgängen über 30 Minuten und 12 Stunden stehen in der Preisübersicht des Unternehmens.

Eine regionale Verarbeitung ist in den USA und der EU möglich, Zero Data Retention steht berechtigten Kunden zur Verfügung.

OpenAI rät, mit einer wiederkehrenden Entscheidung zu beginnen, die eine Anwendung häufig trifft: Frage, mögliche Antworten und den Kontext definieren, der nötig ist, um sie zu unterscheiden. Anschließend können Entwickler das im Decisions Playground mit eigenen Texten oder Bildern an realistischen Beispielen testen oder dem Entwicklerleitfaden folgen, um die erste Anfrage zu stellen.

Was das für Entwickler bedeutet

Für Teams, die viele kleine Klassifizierungs-, Routing- oder Folgeschritt-Entscheidungen treffen, bietet die Veröffentlichung einen eigenen Endpunkt mit reiner Input-Abrechnung und strukturierten Ausgaben. Die regionale Verarbeitung in den USA und der EU sowie Zero Data Retention für berechtigte Kunden kommen Anforderungen an den Umgang mit Daten entgegen, während die GPT-Live-Integration denselben Ansatz auf Live-Sprachgespräche überträgt.