Inworld AI veröffentlicht quelloffenes Modell zur Sprachisolierung

Inworld AI hat Voice Isolator veröffentlicht, sein erstes quelloffenes Modell. Es entfernt Hintergrundgespräche, Musik und andere Störgeräusche, bewahrt dabei aber die aufgenommene Stimme. Das Modell arbeitet mit 48 kHz und umfasst separate Checkpoints für Offline- und Echtzeitverarbeitung.
- Voice Isolator ist das erste quelloffene Modell von Inworld AI.
- Es bewahrt Klangfarbe, Atemzüge und andere Stimmungsdetails und entfernt zugleich Hintergrundgeräusche.
- Die Veröffentlichung umfasst Offline- und Echtzeit-Checkpoints mit 48 kHz.
- Das Modell läuft mit CUDA, auf Apple-Silicon-Systemen und auf CPUs.
- Inworld AI meldet VIBE-Werte von 0.768 für die Offline- und 0.718 für die Streaming-Version.
Die Stimme bewahren, nicht nur Geräusche entfernen
Voice Isolator wurde entwickelt, um Klangfarbe, Atemzüge und Lautstärke einer Stimme zu erhalten und zugleich unerwünschte Geräusche wie Verkehr, Musik, andere Sprecher und Haushaltslärm zu reduzieren. Laut Inworld AI wurde das Modell darauf trainiert, Details zu bewahren, die herkömmliche Rauschunterdrücker entfernen können, darunter Lachen, Atemzüge und Seufzer.
Diese Unterscheidung ist sowohl für Sprachagenten als auch für aufgezeichnetes Audiomaterial wichtig. In einem Live-Gespräch können ein Atemzug vor dem Sprechen, ein Lachen oder ein „Hmm“ einem Agenten helfen zu entscheiden, wann er antworten sollte. Bei Interviews und Sprachproben tragen diese Geräusche dazu bei, den Charakter der Originalaufnahme zu bewahren.
Die Veröffentlichung umfasst zwei Checkpoints. Das Offline-Modell soll die bestmögliche Qualität bei vorhandenen Aufnahmen liefern, während das Echtzeitmodell Audio mit einem Vorlauf von 20 ms für Live-Anwendungen streamt.
VIBE-Benchmark vergleicht quelloffene Rauschunterdrücker
Inworld AI hat außerdem VIBE vorgestellt. Die Abkürzung steht für Voice Isolation Benchmark and Evals. Das Unternehmen beschreibt VIBE als mehrsprachige Sammlung realer Äußerungen unter verschiedenen Bedingungen, jeweils mit und ohne zusätzliches Rauschen. Damit soll gemessen werden, wie gut ein Modell die ursprüngliche Stimme bewahrt und andere Audiosignale entfernt.
In den VIBE-Ergebnissen des Unternehmens erreichte Voice Isolator einen Wert von 0.768, während die Echtzeit-Streaming-Version auf 0.718 kam. Die angegebenen Werte anderer quelloffener Rauschunterdrücker lagen bei 0.695 für ClearerVoice MossFormer2_SE_48K, 0.646 für resemble-enhance (denoise), 0.589 für FastEnhancer-L 48k Streaming und 0.510 für DeepFilterNet3 Streaming.
Die VIBE-Werte reichen von 0, das für das unbearbeitete Eingangssignal steht, bis 1 für die saubere Referenz. Laut Inworld AI schnitten die eigenen Modelle unter den getesteten quelloffenen Rauschunterdrückern am besten ab. Der Benchmark ist nach Angaben des Unternehmens vorerst nicht öffentlich, allerdings lädt Inworld AI zur Einreichung von Modellen und zu Beiträgen ein.
Quelloffenes Paket unterstützt Offline- und Streaming-Nutzung
Entwickler können das Paket mit pip install inworld-voice-isolation installieren und Voice Isolator auf einer Audiodatei ausführen. Das Tool erzeugt eine bereinigte Sprachdatei sowie eine separate Datei mit den entfernten Hintergrundgeräuschen. Die Gewichte werden bei der ersten Verwendung von Hugging Face heruntergeladen.
Das Modell läuft mit CUDA, auf Apple-Silicon-Systemen und auf CPUs. Die Streaming-Schnittstelle akzeptiert 48-kHz-Mono-Audio in Abschnitten beliebiger Größe. Das Repository enthält außerdem eine interaktive Laptop-Demo mit separaten Tabs für aufgezeichnete Dateien und Mikrofoneingaben.
Voice Isolator führt laut Inworld AI derzeit ausschließlich eine Rauschunterdrückung durch. Das Unternehmen hat das Modell bewusst so trainiert, um Verzerrungen bei nachgelagerten Trainingsaufgaben und Echtzeit-Sprach-zu-Text-Modellen zu vermeiden, die empfindlich auf Veränderungen der Wellenform reagieren können. Inworld AI erwägt eine Restaurierung für minderwertige Mikrofone und fehlende Frequenzbanddetails, weist jedoch darauf hin, dass eine reine Rauschunterdrückung diese Probleme nicht behebt.
Inworld AI: Introducing Voice Isolator


