Audible entwickelt steuerbare Sprachsynthese, damit Hörbuchfiguren eigene Stimmen bekommen

Warum herkömmliche TTS bei Hörbüchern an Grenzen stößt

Text-to-Speech-Systeme klingen in Chatbots und virtuellen Assistenten natürlich, wo Interaktionen nur Sekunden dauern. Bei längeren Inhalten wird es schwieriger. Laut Amazon Science gelingt es herkömmlichen TTS-Modellen nicht zuverlässig, ihren Sprechstil zwischen Figuren zu wechseln, wie es ein menschlicher Sprecher tun würde. Hörerinnen und Hörer können dadurch Erzähltext nicht von Dialog unterscheiden und wissen nicht, welche Figur welche Zeilen spricht.

Der Beitrag nennt mehrere Gründe. Kleine Schwächen wie unnatürliche Prosodie oder monotoner Vortrag sind über kurze Strecken tolerierbar, werden aber mit der Zeit störend, und Hörbuchnutzer verbringen pro Buch 10 bis 15 Stunden mit derselben Stimme. Außerdem verarbeiten Allzweckmodelle einzelne Äußerungen mit minimalem Kontext, während ein Hörbuch davon lebt, die umgebende Geschichte zu kennen, teils aus früheren Kapiteln. Schließlich lassen solche Modelle eine Figur in Kapitel 1 oft deutlich anders klingen als in Kapitel 10.

So wird das steuerbare TTS-Modell trainiert

Audibles Ansatz erlaubt es, das Modell mit natürlichsprachlichen Beschreibungen zu steuern, etwa "speak in an enthusiastic, high-pitched voice". So kann das TTS-Modell auf das Textverständnis großer Sprachmodelle zurückgreifen. Für das Training braucht es Sprachdaten, die mit ihrem Klang annotiert sind, und diese Daten müssen bei Tonhöhe, Sprechtempo, Figurenstimmen, Emotionen und Sprechstilen ausdrucksstark sein. Die meisten vorhandenen Trainingsdaten seien neutral im Ton, so das Team.

Das Team erweiterte seine Trainingssätze durch neue Aufnahmen und menschliche Beschriftung bestehender Audiodateien. Da bestehende Datensätze die Prosodie in uneinheitlichen Formaten beschreiben, ließen die Forschenden LLMs die ursprünglichen Prompts in unterschiedlicher Länge und Struktur umschreiben, von einzelnen Tags bis zu freier Sprache. Weil sich die menschliche Datenerhebung nicht auf die nötige Größe skalieren lässt, ergänzte das Team synthetische Daten mit zwei Methoden:

• Expertenmodell-Pipeline: Expertenmodelle und Signalverarbeitungsalgorithmen extrahieren aus Audio Merkmale wie Tonhöhe, Sprechtempo und Emotion, und ein LLM macht daraus Sprachbeschreibungen.
• Speech Captioner: ein Modell, das das Gegenteil von steuerbarem TTS leistet: Es nimmt Sprache entgegen und gibt eine Beschreibung ihrer prosodischen Merkmale aus. Es annotiert weitere Daten, mit denen das erste steuerbare TTS-Modell trainiert und der Captioner selbst weiter verbessert wird. Das Team spricht von einem Synthetic-Data-Flywheel.

BookLLM und die vollständige Hörbuch-Pipeline

Für den Hörbucheinsatz baute das Team BookLLM, eine Komponente, die handelsübliche LLMs nutzt, um einzelne Figuren zu erkennen und anhand von Angaben wie Alter, Geschlecht, Persönlichkeit und Rolle ihre Stimmeigenschaften festzulegen. Anschließend bestimmt sie, wer wo spricht, und versieht Dialoge mit Vortragsanweisungen. Evaluiert wurde sie an 25 englischen und spanischen Büchern aus den Genres Krimi, Science-Fiction und Liebesroman, im Vergleich zu Referenzannotationen von zwei menschlichen Annotatoren. Die Genauigkeit bei der Zuordnung, welche Figur wo spricht, einschließlich der Trennung von Erzähltext und Dialog, lag bei 97 % im Englischen und 94 % im Spanischen.

Bei einem neuen Buch liest BookLLM zunächst den gesamten Text, erstellt eine Besetzungsliste, ordnet die Figuren nach Bedeutung und weist jeder ein eigenes Profil aus einem kuratierten Stimmkatalog zu. Dabei maximiert es bewusst den Kontrast zwischen den wichtigsten Figuren. Nebenfiguren und solche mit nur einem Auftritt greifen auf den Standarderzähler zurück, damit nicht viele kaum genutzte Stimmen entstehen. Für jede Dialogzeile schreibt es eine Beschreibung wie "whispering nervously" oder "shouting in anger".

Bei der Synthese geht jede Texteinheit zusammen mit dem Stimmprofil des Sprechers und, falls nötig, ihrer Beschreibung an das TTS-Modell. Da das Stimmprofil einer Figur einmal auf Buchebene festgelegt wird, gibt das Modell die Figur laut dem Beitrag von Anfang bis Ende konsistent wieder.

Ergebnisse und was sie nahelegen

Mit der Pipeline synthetisierte Hörbücher mit unterscheidbaren Figurenstimmen verbesserten die Differenzierung der Dialoge in einem MUSHRA-Test um 3,7 Punkte. MUSHRA ist ein standardisiertes Verfahren, bei dem Hörer die Audioqualität auf einer Skala von 0 bis 100 bewerten. In Tests auf Englisch und Spanisch berichtet das Team von statistisch signifikanten Verbesserungen des Hörerlebnisses bei acht von zehn Stimmen.

Die Quelle beschreibt Forschungsergebnisse und keine Produkteinführung, und sie nennt nicht, wann oder ob das System in Audibles Katalog ankommt. Sie zeigt jedoch eine Richtung für synthetisches Erzählen auf: Das Verstehen der Geschichte, das ein LLM übernimmt, wird vom Rendern der Sprache getrennt, sodass Figuren in langen Audioformaten über ein ganzes Buch hinweg wiedererkennbar bleiben.