Fish Audios Text-to-Speech-Modell Drama 3 ist jetzt im Vercel AI Gateway verfügbar

Vercel hat Fish Audios Drama 3 in das AI Gateway aufgenommen. Mit dem Text-to-Speech-Modell, das sich derzeit in der Vorschauphase befindet, können Entwickler Sprachausgaben per Anweisungen in natürlicher Sprache steuern, die direkt im Skript stehen.
- Fish Audios Text-to-Speech-Modell Drama 3 ist jetzt im Vercel AI Gateway verfügbar, derzeit als Vorschau.
- Die Sprachausgabe wird über Anweisungen in natürlicher Sprache in eckigen Klammern sowie über Tags wie <whisper> und <emphasis> gesteuert.
- Das Modell unterstützt Dialoge mit mehreren Sprechern und je einer eigenen Stimme pro Figur, die Anweisungen können in einer anderen Sprache als der gesprochene Text stehen.
- Es wird 30 Tage lang mit 80 % Rabatt angeboten, bis zum 12. November.
- Entwickler nutzen den Modellnamen fish-audio/drama-3.
Sprachausgabe direkt im Skript steuern
Laut Vercel richtet sich Drama 3 an Voiceovers, Dialoge von Figuren und Audio-Storytelling. Statt separate Einstellungen anzupassen, beschreiben Nutzer direkt im Text, wie eine Zeile klingen soll.
Emotion und Tempo lassen sich in eckigen Klammern beschreiben. Geräusche und Pausen können an der passenden Stelle im Skript platziert werden. Ausgewählte Wörter lassen sich außerdem mit Tags wie <whisper> und <emphasis> umschließen, um ihren Vortrag zu verändern.
Vercel weist zudem darauf hin, dass die Anweisungen in einer anderen Sprache als der gesprochene Text verfasst sein können. Drama 3 unterstützt auch Dialoge mit mehreren Sprechern, jeweils mit eigener Stimme für jede Figur.
Einstieg mit dem AI SDK
Entwickler rufen das Modell unter dem Namen fish-audio/drama-3 auf. Vercels Beispiel nutzt die Funktion experimental_generateSpeech des AI SDK. Das Beispielskript übergibt den Text [warm and reassuring] Take your time. <whisper>I am right here.</whisper>, eine Voice-ID und das Ausgabeformat mp3 und schreibt anschließend das zurückgegebene Audio in eine Datei.
Das Modell lässt sich auch im Model Playground ausprobieren, und Vercel verlinkt eine Seite mit Details zum Modell.
Rabattierter Preis und Funktionen des AI Gateway
Drama 3 ist laut Vercel 30 Tage lang mit 80 % Rabatt verfügbar, und zwar bis zum 12. November. Einen regulären Preis für das Modell nennt die Quelle nicht.
Das AI Gateway ist Vercels einheitliche API für den Aufruf von Modellen. Laut Vercel deckt es die Erfassung von Nutzung und Kosten ab und erlaubt die Konfiguration von Wiederholungsversuchen, Failover und Performance-Optimierungen für eine höhere Verfügbarkeit als bei den einzelnen Anbietern. Zudem nennt Vercel integrierte individuelle Berichte, Unterstützung für Zero Data Retention, Budgets für API-Schlüssel und Routing-Regeln.
Vercel erklärt, das AI Gateway gebe die Preise der Anbieter ohne Aufschlag weiter und erhebe keine Plattformgebühr auf Inferenz, auch nicht bei Anfragen mit eigenem Schlüssel (Bring Your Own Key, BYOK).
Was das für Entwickler bedeutet
Für Teams, die ihre Modellaufrufe bereits über das AI Gateway leiten, kommt mit Drama 3 eine Sprachoption hinzu, die sich über dieselbe API und mit derselben Nutzungs- und Kostenerfassung nutzen lässt. Da sich das Modell in der Vorschauphase befindet, können sich Verhalten und Verfügbarkeit noch ändern. Der Rabatt gilt nur bis zum 12. November. Wer das Modell zum reduzierten Preis testen möchte, hat dafür also nur begrenzt Zeit.
Vercel: Drama 3 now available on AI Gateway


