Vercel nimmt 14 ElevenLabs-Audiomodelle in das AI Gateway auf, vorerst zum halben Preis

Sechs Arten von Audiomodellen hinter einem Schlüssel

Laut Vercel unterstützt das AI Gateway sechs Arten von ElevenLabs-Audiomodellen, die sich alle über einen einzigen API-Schlüssel des Gateways ansprechen lassen. Das Unternehmen beschreibt sie wie folgt:

• Speech to Text: Aufnahmen transkribieren oder Live-Audio untertiteln, während gesprochen wird.
• Streaming Text to Speech: Die Audiowiedergabe startet, während ein Sprachmodell seine Antwort noch schreibt.
• Echtzeit-Sprachagenten: Nutzer sprechen mit einer App und hören die Antwort in einer einzigen Live-Sitzung.
• Musik: Einen Track in einfachem Text beschreiben und einen fertigen Song oder ein Instrumentalstück in der gewünschten Länge erhalten.
• Soundeffekte: Sounds für Spiele und Oberflächen oder nahtlos loopende Atmosphäre aus einer kurzen Beschreibung erzeugen.
• Dialoge mit mehreren Stimmen: Ein ganzes Gespräch in einem Aufruf vertonen, mit einer eigenen Stimme für jede sprechende Person.

Vercel zufolge kann eine App oder ein Agent transkribieren, was ein Nutzer sagt, dies mit einem von Hunderten Modellen zur Auswahl verarbeiten und dann mit einer ElevenLabs-Stimme antworten. Jede Anfrage erscheint in denselben Ansichten für Nutzung, Kosten und Traces wie anderer Datenverkehr im AI Gateway.

Zu den 14 Modell-IDs gehören elevenlabs/scribe-v2 und elevenlabs/scribe-v2-realtime für die Transkription, vier Text-to-Speech-Modelle wie elevenlabs/eleven-flash-v2.5, zwei Echtzeitmodelle, zwei Musikmodelle, ein Soundeffekt-Modell und drei Dialogmodelle.

Sprach-Pipelines und Echtzeit-Agenten

Vercel zeigt zwei Wege, Sprachfunktionen zu bauen. Beim ersten wandelt Scribe v2 Realtime Sprache in Text um, während der Nutzer noch spricht. Ein Sprachmodell nach Wahl der Entwickler schreibt die Antwort, und Eleven Flash v2.5, das als Stimmmodell mit niedriger Latenz beschrieben wird, liest sie vor, während sie hereinströmt. Da jeder Schritt ein eigenes Modell ist, lassen sich Transkriptions-, Sprach- oder Sprachsynthesemodell austauschen, ohne den Rest der Pipeline zu ändern. In Vercels Beispiel fragt ein Nutzer, ob er seinen Anschlussflug erreicht.

Der zweite Ansatz nutzt Eleven Realtime v1 Max oder Eleven Realtime v1 Mini, die das gesamte gesprochene Gespräch in einem Modell über eine einzige WebSocket-Sitzung abwickeln. Laut Vercel entfallen damit getrennte Schritte für Transkription und Sprachausgabe, was sich für Support-Anrufe oder Assistenten in Apps eignet.

Für diese Sitzungen erzeugt der Server lediglich ein kurzlebiges Token für das gewählte Modell, sodass der API-Schlüssel nicht auf den Client gelangt. Im Browser übernimmt der useRealtime-Hook aus @ai-sdk/react die Verbindung, die Mikrofonaufnahme und die Audiowiedergabe. Die Echtzeitmodelle unterstützen semantische Voice Activity Detection (VAD), um zu erkennen, wann ein Nutzer ausgesprochen hat, nicht aber server-vad.

Musik, Soundeffekte und Dialoge

Music v2.5 und Music v2 komponieren aus einer Textbeschreibung eigenständige Musik. Nutzer können ein Genre, eine Stimmung oder Instrumente nennen, und das Modell liefert einen fertigen Track in der gewünschten Länge, wahlweise mit oder ohne Gesang. Ein Song lässt sich auch Abschnitt für Abschnitt anlegen, jeweils mit eigenem Stil und eigener Länge. Sound Effects v2 funktioniert genauso für kürzere Geräusche wie Schritte, eine zufallende Tür oder Dauerregen im Loop.

Alle drei Modelle verwenden generateSpeech, wobei der Text den gewünschten Klang beschreibt. Vercels Beispiel fordert einen 30-sekündigen Track an, beschrieben als sanfter Lo-Fi-Beat mit leisem Klavier.

Eleven v4, Eleven v4 Turbo und Eleven v3 sprechen ein Skript mit mehreren Sprechern in einer einzigen Anfrage ein. Jeder Zeile wird eine Stimme zugewiesen, und jeder Stimmwechsel beginnt einen neuen Redebeitrag. Laut Vercel kommt ein Podcast mit zwei Moderatoren oder eine Szene mit voller Besetzung als eine durchgehende Aufnahme zurück, sodass keine einzelnen Clips zusammengefügt werden müssen. Jede Stimme ist eine ElevenLabs-Voice-ID, und Textteile können von einem Sprachmodell, das das Skript schreibt, nachgeliefert werden.

Was das für Entwickler bedeutet

Für Teams, die das AI Gateway bereits nutzen, stehen Sprache, Musik und Klangerzeugung nun neben den Textmodellen unter einer API, mit denselben Nutzungs- und Kostenansichten und denselben Kontrollen. Vercel beschreibt das AI Gateway mit Wiederholungsversuchen, Failover, Budgets für API-Schlüssel, Routing-Regeln, individuellen Berichten und Unterstützung für Zero Data Retention.

Bei den Kosten gibt das AI Gateway laut Vercel die Preise der Anbieter ohne Aufschlag weiter und erhebt keine Plattformgebühr auf Inferenz, auch nicht bei Anfragen mit eigenem Schlüssel (Bring Your Own Key, BYOK). Der Einführungsrabatt von 50 % auf die ElevenLabs-Modelle gilt bis zum 9. November. Beispiele für alle Modelle finden sich in der Audio-Dokumentation des AI Gateway.