GPT-Live 1.1 bringt genauere Spracherkennung zu Vercels AI Gateway

OpenAIs GPT-Live 1.1 ist ab sofort über Vercels AI Gateway verfügbar. Das Vollduplex-Sprachmodell bietet eine genauere Transkription sowie eine konsistentere Stimme und einen einheitlicheren Akzent über mehrere Sprachen hinweg. Bestehende GPT-Live-Integrationen lassen sich durch die Änderung der Modell-ID auf das neue Modell umstellen.
- GPT-Live 1.1 ist ab sofort in Vercel AI Gateway verfügbar.
- Das Vollduplex-Modell unterstützt Pausen, Unterbrechungen und zusätzliche Details während einer Antwort.
- Es verbessert die Sprachtranskription sowie die Stimmkonsistenz über mehrere Sprachen hinweg.
- Für bestehende GPT-Live-Integrationen ist lediglich die neue Modell-ID erforderlich.
- Mit der Client-Delegation können Anwendungen während Sprachsitzungen Unterstützung von Textmodellen anfordern.
Ein Sprachmodell für Unterbrechungen
GPT-Live 1.1 hört zu, während es spricht. Anrufer können dadurch pausieren, eine Antwort unterbrechen oder weitere Details hinzufügen, bevor das Modell fertig ist. Vercel beschreibt es als Vollduplex-Sprachmodell, das natürlichere Gespräche mit einem echten Wechsel zwischen den Gesprächspartnern ermöglichen soll.
Im Vergleich zum bisherigen GPT-Live-Modell transkribiert GPT-Live 1.1 Sprache genauer und sorgt über mehrere Sprachen hinweg für einen konsistenteren Akzent und eine einheitlichere Stimme. Das Update ist über denselben Live-Endpunkt und dasselbe System zur Delegation an Clients verfügbar, die bereits das frühere Modell nutzten.
Bestehende Integrationen können die neue Modell-ID verwenden
Entwickler mit einer bestehenden GPT-Live-Integration müssen lediglich die Modell-ID durch openai/gpt-live-1.1 ersetzen. Vercels Beispiel verwendet das AI SDK und einen OpenAI-Client, der mit dem AI-Gateway-Endpunkt konfiguriert ist. Anschließend wird über die Live API eine Echtzeitsitzung erstellt.
Die Quelle zeigt außerdem eine Einrichtung ohne Delegation. Dabei startet die Anwendung eine Sitzung und übermittelt Anweisungen, etwa dass das Modell als hilfreicher Sprachassistent agieren soll. Vercel weist darauf hin, dass die Beispiele die WebSocket-Verbindung, die Ereignisverarbeitung, den Aufbau des Transkripts, das Audiostreaming und die Schritte zum Beenden auslassen. Der GPT-Live-Leitfaden von Vercel enthält die Einrichtung der Verbindung, das Audiostreaming und vollständige Beispiele.
Delegierte Aufgaben laufen während des Gesprächs weiter
GPT-Live 1.1 kann während einer Sprachsitzung auch eine Anwendung um Unterstützung bitten. Entwickler aktivieren die Delegation an den Client über die Sitzungsanweisungen. Das Modell fordert anschließend Hilfe an, indem es ein Ereignis vom Typ delegation-created sendet.
Die Anwendung steuert die delegierte Aufgabe, einschließlich ihrer Berechtigungen, Bestätigungen und Abbrüche. In Vercels Beispiel sendet die Anwendung die delegierte Anfrage an openai/gpt-6.2-sol. Laut Quelle kann jedoch jedes Textmodell in AI Gateway verwendet werden. Der zurückgegebene Text wird über den Kommentar-Kanal an GPT-Live 1.1 zurückgesendet, damit das Modell ihn vorliest.
Anfragen an delegierte Modelle werden über AI Gateway separat abgerechnet, während die Nutzung der Sprachsitzung während der delegierten Aufgabe weiterläuft. Laut Vercel bietet AI Gateway eine einheitliche API zum Aufrufen von Modellen, zur Erfassung von Nutzung und Kosten sowie zur Konfiguration von Wiederholungsversuchen, Ausfallsicherheit und Leistungsoptimierungen für eine höhere Verfügbarkeit als beim jeweiligen Anbieter. Zusätzlich stehen individuelle Berichte, Unterstützung für Zero Data Retention, Budgets für API-Schlüssel und Routing-Regeln zur Verfügung. Der Dienst übernimmt die Preise der Anbieter ohne Aufschlag und erhebt keine Plattformgebühr auf Inferenz, auch nicht bei Anfragen mit Bring Your Own Key.
Vercel: GPT-Live 1.1 now available on AI Gateway


