Bland AI bringt Sprach-KI mit einem zweiten Modell das Lachen auf Kommando bei

Warum ein einfaches Tag schwer umzusetzen ist

Ein Entwickler fügt einem Text in Sekunden ein Tag wie [laughs] oder [sighs] hinzu. Für ein Sprachmodell ist es deutlich schwieriger, diese Anweisung zu befolgen. Bland nennt als Beispiel den Satz "I thought you were serious. [laughs] You almost had me." Das Modell muss das Lachen im richtigen Moment platzieren, dieselbe Stimme beibehalten, auf natürliche Weise zur Sprache zurückkehren und dabei jedes Wort korrekt aussprechen.

Nach Angaben von Bland reichte Training mit Aufnahmen und Transkripten, in denen nonverbale Laute markiert sind, nicht aus. Saubere, annotierte Beispiele für seltenere Laute sind schwer zu finden, und selbst Lachen unterscheidet sich stark von Sprecher zu Sprecher. Nach diesem Training konnten die Modelle viele der Laute zwar erzeugen, ließen sie aber weiterhin aus oder verwechselten sie.

Wie NVAlign funktioniert

Das Forschungsteam von Bland trainierte ein separates Spracherkennungsmodell darauf, Tags und nonverbale Laute zu erkennen. Dieses Modell wird anschließend eingefroren und bewertet die Ausgabe des Sprachmodells. Beim NVAlign-Training läuft der Prozess in vier Schritten ab:

• Das Sprachmodell erhält Text mit einem Tag wie [laughs].
• Es erzeugt das Audio.
• Das Erkennungsmodell bewertet, wie sicher es den angeforderten Laut erkennen kann.
• Dieses Feedback dient dazu, die Planung und Erzeugung des Audios im Sprachmodell anzupassen.

Würde man das Feedback durch jeden Schritt der Audioerzeugung zurückleiten, wären enorm viel Speicher und Rechenleistung nötig. Das Team entwickelte deshalb eine Abkürzung, die zwei ausgewählte Schritte für die Berechnung des Trainings-Updates nutzt. Entwickler müssten diesen Prozess bei der Spracherzeugung nicht selbst steuern, sagt Bland, da er während des Modelltrainings stattfindet. Die Methode wird im NVAlign-Paper beschrieben, als Autorin wird unter anderem Qiaolin Wang genannt.

Das Unternehmen beschreibt außerdem ein Risiko: Ein Modell kann seinen Wert beim Befolgen von Tags verbessern und dabei den Rest des Audios verschlechtern, etwa indem es den Laut zu laut erzwingt, die Stimme des Sprechers verändert oder den umgebenden Satz verzerrt. Bland beobachtete das, als es bei Tests Schutzmechanismen entfernte. Das Team führte daraufhin Strafterme ein für Änderungen, die die Sprecheridentität oder die Audioqualität beeinträchtigen, übermäßige Pegelspitzen oder zu geringe Lautstärke erzeugen oder sich zu weit vom bisherigen Verhalten des Modells entfernen.

Was die Tests zeigten

Bland testete NVAlign an zwei öffentlichen Sprachmodellen und an einem englischen Produktivsystem. Zusätzlich führte das Unternehmen einen separaten Hörtest mit 100 Texten durch. Drei Hörer beurteilten, ohne zu wissen, welches System das Audio erzeugt hatte, ob jeder angeforderte Laut an der richtigen Stelle auftauchte. Ein Ergebnis galt nur dann als korrekt, wenn alle drei übereinstimmten.

Beim englischen Produktivsystem stieg die Trefferquote in diesem Test von 39,8 auf 54,0 Prozent. Die Natürlichkeit bewerteten die Hörer mit 3,95 von fünf Punkten, vor dem NVAlign-Training waren es 3,89.

Es gab auch Abstriche. Die Wortfehlerrate im Englischen stieg bei beiden Evaluationssätzen, und ein automatisiertes Maß für die wahrgenommene Wirkung der Lautäußerung sank. Bland erklärt, man müsse weiterhin die Aussprache und die Einbettung jedes Lauts in den Satz prüfen, auch wenn das Modell das Tag korrekt umsetzt.

Was das für Kunden bedeutet und was offen bleibt

Der Nutzen für Entwickler liegt laut Bland in einer verlässlicheren Steuerung des Vortrags über den bereitgestellten Text, sodass ein angefordertes Lachen oder Seufzen mit höherer Wahrscheinlichkeit dort erscheint, wo es platziert wurde. Das Unternehmen nennt mehrere Folgen für Kunden:

• Entwickler können den Vortrag direkt im Text steuern, statt das Audio nach der Erzeugung nachzubearbeiten.
• Sprachagenten können mehr als nur Worte ausgeben und bleiben dabei im Fluss eines Gesprächs.
• Eine einzelne Stimme kann Änderungen bei Tempo, Betonung und Emotion über ein Gespräch hinweg tragen.
• Teams können gezieltere Momente gestalten, ohne das umgebende Spracherlebnis neu aufzubauen.

Bland benennt die Grenzen offen. Die Arbeit konzentriert sich auf einzelne, mit Tags versehene Laute. Sie belegt nicht, dass ein Modell weiß, wann Lachen angebracht ist, oder dass es jede kontinuierliche Veränderung von Emotion und Sprechstil bewältigen kann. Der Entwickler entscheidet weiterhin, wo ein Laut angefordert wird. Seltene Laute bleiben schwerer zu trainieren, weil gute Beispiele knapp sind, und sowohl das Sprachmodell als auch das Erkennungsmodell brauchen diese Vielfalt, um besser zu werden.