Inworld veröffentlicht SAVA-Modell für schnellere Erkennung von Sprecherwechseln

Inworld AI hat SAVA veröffentlicht, ein semantisches akustisches Modell, das Spracherkennung mit der Erkennung von Sprecherwechseln für Sprachanwendungen kombiniert. Nach Angaben des Unternehmens kann das Modell zwischen einer unvollendeten Denkpause und dem Ende eines Sprecherbeitrags unterscheiden. Dadurch können Agenten zu einem passenderen Zeitpunkt reagieren.
- SAVA kombiniert Spracherkennung und Sprecherwechselerkennung in einem Modell.
- Das Modell liefert alle 40 ms zwei Wahrscheinlichkeiten.
- SAVA erkannte 85,5 % der Sprecherwechselenden im AMI-Korpus innerhalb von 200 ms.
- Das Modell verfügt über 25,5 Mio. Parameter und läuft in PyTorch.
- Entwickler können die Gewichte von Hugging Face laden.
Ein Modell für Sprach- und Sprecherwechselerkennung
SAVA wird zusammen mit Inworlds Voice Isolator ausgeliefert und übernimmt bereits die Sprecherwechselerkennung in den Sprachprodukten des Unternehmens. Das Modell soll ein häufiges Problem bei Konversationssystemen lösen: zu frühe Antworten, wenn eine Person beim Nachdenken pausiert, oder zu langes Warten, wodurch sich die Interaktion langsam anfühlt.
Das Modell verarbeitet Audiodaten kontinuierlich und liefert alle 40 ms zwei Wahrscheinlichkeiten. Die eine schätzt, ob ein Frame Sprache enthält, die andere, ob der Sprecherbeitrag beendet ist. SAVA nutzt den bisherigen Satz, um eine Pause in einem noch nicht abgeschlossenen Gedanken von einem vollständigen Satz zu unterscheiden. Derselbe Kontext hilft dabei, Sprache von Husten, Lachen, Musik und Tippgeräuschen zu trennen.
Tests mit Gesprächen und verrauschten Audiodaten
Inworld verglich SAVA bei der Spracherkennung mit Silero VAD 6.2.1 und bei der Sprecherwechselerkennung mit pipecats smart-turn v3.2. Das Unternehmen verwendete öffentliche Datensätze und für beide Modelle dasselbe Bewertungsverfahren. Skripte, Datensatz-Manifeste und Rohdaten sind im Repository verfügbar.
Bei 5.043 Sprecherwechselenden im AMI-Meeting-Korpus erkannte SAVA 85,5 % innerhalb von 200 ms, gegenüber 30,8 % bei smart-turn. Innerhalb von 400 ms lagen die Werte bei 91,2 % und 41,8 %. Die mediane Erkennungsverzögerung von SAVA betrug 71 ms, bei smart-turn waren es 210 ms.
Bei der Spracherkennung hatte SAVA laut Inworld bei sieben von neun Datensatzmessungen eine höhere Frame-AUC als Silero. Der Vergleich war nicht an die Latenz angeglichen, da SAVA 120 ms Vorausblick nutzt und Silero keinen. Bei AliMeeting, das Sitzungen in Mandarin enthält, lag SAVA zurück. Bei AISHELL-4 erzielten beide Modelle denselben Wert.
Leistung und Modelldetails
Inworld berichtet bei weiteren Tests zur Sprecherwechselerkennung über gemischte Ergebnisse. Im pipecat-smart-turn-Testdatensatz erreichte SAVA eine AUC von 0,980, gegenüber 0,983 für smart-turn. Bei LiveKits eot-bench lag smart-turn vorn, wenn eines der beiden Modelle während einer Pause auslösen konnte. SAVA war vorn, wenn die Vorhersagen 0,2 Sekunden nach Beginn der Pause ausgelesen wurden. SAVAs Wert bei Easy Turn lag bei 0,51, gegenüber 0,83 für smart-turn.
SAVA akzeptiert Mono-Audio mit 16 kHz und läuft in PyTorch. Das Modell verfügt über 25,5 Mio. Parameter. Laut Inworld verarbeitet es einen Stream auf einem einzelnen Apple-M3-Max-CPU-Thread in weniger als 3 ms pro 40-ms-Frame. Die Gewichte werden beim ersten Laden des Modells von Hugging Face heruntergeladen.
Was Entwickler beachten müssen
SAVA liefert Wahrscheinlichkeiten, während eine von Entwicklern festgelegte Sprecherwechsel-Logik entscheidet, wann der Agent darauf reagiert. Inworld stellt eine Referenzlogik bereit, die die Modellausgabe in Grenzen von Sprecherwechseln umwandelt. Dazu kommt ein Integrationsleitfaden, der Streaming und die Grenzen des Modells abdeckt.
Das Modell erkennt jede Stimme, die es hört, statt einen bestimmten Sprecher auszuwählen. Dialogsysteme müssen weiterhin Unterbrechungen und kurze Bestätigungen wie „mm-hm“ verwalten. Inworld weist außerdem darauf hin, dass SAVA bewusst empfindlich auf leise Stimmen und Stimmen aus größerer Entfernung reagiert. Dadurch können ein Fernseher in einem anderen Raum oder leise, sprachähnliche Geräusche das Modell auslösen. Das Unternehmen empfiehlt, solche Geräusche zuvor mit Voice Isolator zu entfernen.
Inworld AI: Introducing SAVA


