AssemblyAI startet Sprachmodell TTS-1 für 15 Dollar pro 1 Mio. Zeichen

Gebaut für Sprachagenten, bei denen Anrufer nicht auflegen

AssemblyAI begründet den Start mit zwei Problemen. Das erste ist das Vertrauen der Anrufer: Wer vermutet, es mit einem IVR-Telefonmenü zu tun zu haben, drückt laut Unternehmen tendenziell die 0 und verlangt einen Mitarbeiter. Ein Sprachagent muss daher natürlich klingen und schnell genug antworten, damit der Anrufer in der Leitung bleibt und merkt, dass das System tatsächlich helfen kann.

Das zweite Problem sind die Kosten. AssemblyAI argumentiert, dass eine Text-to-Speech-Rechnung, die mit jedem abgeschlossenen Anruf wächst, mit dem Business Case des Agenten selbst konkurriert. AssemblyAI-TTS-1 koste etwa die Hälfte dessen, was Kunden heute zahlen, und sei das günstigste Frontier-Text-to-Speech-Modell für Sprachagenten.

Technisch wurde das Modell nach Angaben des Unternehmens mit Millionen Stunden Audio trainiert, darunter echte Gesprächsdaten. Die meisten Text-to-Speech-Modelle bilden Audio als diskrete Tokens ab, was laut AssemblyAI zu geringerer Qualität und höherer Latenz führt. AssemblyAI-TTS-1 arbeitet stattdessen direkt mit kontinuierlichen Audiodarstellungen.

Preise, Parallelität und Stimmen

Laut AssemblyAI gibt es keine Mindestabnahme und keine Parallelitätsstufe, die man kaufen müsste. Zehn gleichzeitige Anrufe und zehntausend liefen über dieselbe API zum selben Preis pro Zeichen. Das Unternehmen erklärt, seine Speech-to-Text-Kunden erhielten bereits unbegrenzte Parallelität ohne Jahresvertrag, und TTS-1 starte auf dieselbe Weise.

Die Stimmenbibliothek umfasst mehr als 4.000 Stimmen, die sich im Dashboard auswählen lassen. Das Modell bringt zudem Instant Voice Cloning mit: Nutzer laden eine Aufnahme hoch, bestätigen, dass sie die Erlaubnis des Sprechers haben, und die geklonte Stimme steht wenige Sekunden später bereit.

• Unterstützte Akzente decken Englisch, Spanisch, Französisch, Deutsch, Italienisch und Portugiesisch ab.
• Weitere Sprachen und Akzente sind in den kommenden Wochen geplant.
• „Pro“-Stimmklonen (Fine-Tuning) wird noch nicht unterstützt.
• Eigene Aussprachewörterbücher und Emotions-Tagging folgen in Kürze.

AssemblyAI fügt hinzu, das Modell setze Audio nativ passend zum Eingabetext um, und mit Prompting lasse sich zuverlässig für Pausen und Disfluenzen sorgen. Viele Entwickler hätten zudem höhere Erfolgsquoten bei Anrufen festgestellt, wenn der Agent eine Stimme mit einem anderen Akzent als die Zielgruppe der Anrufer nutzt.

Benchmark-Ergebnisse laut AssemblyAI

AssemblyAI verglich das Modell mit Cartesia Sonic 3.6, Inworld TTS-2, Inworld TTS-2 Flash, ElevenLabs v4 und ElevenLabs Flash v2.5 anhand von vier englischen Datensätzen: Seed-TTS (443 kurze Sätze), einem Aussprache-Set (580 Sätze, jeweils um ein schwieriges Ziel wie eine Telefonnummer oder URL herum gebaut), einem Gesprächs-Set (500 Kundenbeiträge aus aufgezeichneten Anrufen) und LibriSpeech (165 Hörbuchpassagen). Alle Modelle nutzten denselben Pool von 50 geklonten Stimmen.

Latenz. Gemessen über die API des jeweiligen Anbieters vom selben Client aus beginnt AssemblyAI-TTS-1 im Median nach 47 ms mit dem Streaming. ElevenLabs Flash v2.5 folgt mit 119 ms, Cartesia Sonic 3.6 mit 143 ms, Inworld TTS-2 Flash mit 244 ms, Inworld TTS-2 mit 280 ms und ElevenLabs v4 mit 612 ms. Im 90. Perzentil liegt AssemblyAI-TTS-1 bei 54 ms.

Genauigkeit. Das Modell erreicht bei einfachen Sätzen eine Wortgenauigkeit von 99,0 %. Im Aussprache-Set liest es 93,7 % der schwierigen Ziele korrekt, gegenüber 93,6 % bei ElevenLabs v4, 82,5 % bei Cartesia Sonic 3.6 und 68,0 % bei ElevenLabs Flash v2.5.

Natürlichkeit. Die vorhergesagte Hörerpräferenz liegt bei 3,85 auf einer Skala von 1 bis 5. Das ist mehr als bei Cartesia Sonic 3.6 mit 3,82, ElevenLabs Flash v2.5 mit 3,70 und ElevenLabs v4 mit 3,67, aber wenige Hundertstel weniger als bei Inworld TTS-2 Flash mit 3,88. Das Unternehmen nennt außerdem 85,5 im normalisierten TTSDS-Test zur Prosodie-Realitätsnähe und 0,64 bei der Sprecherähnlichkeit für geklontes Audio.

AssemblyAI verweist zudem auf den Text-to-Speech-Benchmark von Cekura, der 104 Agentensätze über 27 Modelle vorlesen lässt. Dort landet das Modell im „Best Quadrant“ aus Genauigkeit und Latenz, belegt mit 91,7 % Platz 1 bei Telefonnummern und Codes und Platz 4 bei der Natürlichkeit mit 4,50.

Was das für Entwickler bedeutet

Für Teams, die Sprachagenten im großen Maßstab betreiben, lautet das Angebot: ein einheitlicher Preis pro Zeichen ohne Verhandlungen über Parallelität, dazu eine Latenz unter 100 ms. Das Modell lässt sich mit einem bestehenden AssemblyAI-API-Schlüssel in einem Playground ausprobieren. Da die meisten Vergleichswerte aus AssemblyAIs eigenen Auswertungen stammen, sollten Entwickler das Modell mit eigenen Stimmen und Gesprächsinhalten testen, zumal Pro-Stimmklonen fehlt und die Steuerungsfunktionen noch folgen.