Krisp nimmt 265 echte Gespräche auf, um den Umgang mit Hintergrundstimmen zu testen

Drei Monate Aufnahmen an realen Orten

Der Benchmark besteht aus Aufnahmen in Büros, Callcentern und Autos, gemacht mit den Geräten, die Menschen tatsächlich nutzen. Jede Aufnahme wurde anschließend von Hand segmentweise transkribiert und annotiert. Laut Krisp dauerte die Arbeit drei Monate und umfasste allein im Büroszenario 24 Audiogeräte, in den Callcentern 18 Headset-Modelle auf vier Etagen sowie 18 Smartphone-Modelle, dazu das jeweilige Bluetooth-Mikrofon im Auto.

Das Krisp Engineering Team schildert einen chaotischen Prozess. Vier laufende Callcenter mussten zustimmen, das Aufnahmeteam zu beherbergen, und die Sessions mussten um Schichten und Kundenverkehr herum geplant werden. Achtzehn Headset-Modelle bedeuteten achtzehn verschiedene Anschlüsse, und mehr als einmal stand das Team ohne passende Adapter da. Viele Takes wurden verworfen, weil die zweite Person zu früh einsetzte, zu früh aufhörte oder zu leise oder zu laut war. Andere gingen wegen eines stummgeschalteten Mikrofons oder des falschen Eingangs verloren.

Für die Autoaufnahmen bat eine Kollegin namens Anna nahezu alle bei Krisp, beim Fahren Skripte einzusprechen, und hängte an jede Anfrage den Satz „eyes on the road, the script can wait“ an. Nach Zählung des Teams verschickte sie ihn 41-mal. Laut Krisp hatte niemand einen Unfall.

Warum Krisp das Audio nicht simuliert hat

Üblicherweise baut man ein Evaluierungsset, indem man saubere Sprache mit einer Geräuschaufnahme und einer Impulsantwort mischt und das Ergebnis als Raum behandelt. Krisp zufolge funktioniert das für das Training, aber nicht für die Evaluierung, weil gerade die Verschlechterung, an die niemand zu simulieren gedacht hat, am messenswertesten ist.

Das Unternehmen argumentiert, das Problem gewinne an Bedeutung, weil Menschen zunehmend mit Bots sprechen. Gelangt eine Nebenstimme in den Kanal, transkribiert das Speech-to-Text-Modell sie zusammen mit der eigentlichen Sprecherin oder dem Sprecher. Das Transkript erreicht dann das LLM, dessen Verhalten sich dadurch verändern kann. Krisp nennt das Beispiel eines Kunden, der sagt „I'd like to cancel my subscription“, während eine Kollegin in der Nähe „Can you grab lunch?“ fragt und der Bot beides hört.

Moderne Speech-to-Text-Systeme hätten bei Geräuschen wie Verkehr, Klimaanlage und Tastaturklappern echte Fortschritte gemacht, so Krisp. Hintergrundsprache sei schwieriger, weil eine Hintergrundstimme dieselbe akustische Struktur wie die Zielstimme habe. Die Modelle transkribierten deshalb jede Stimme, statt die Nebenstimme zu ignorieren. Zudem verweist das Unternehmen auf eine Datenlücke bei verschlechtertem Audio wie Bluetooth-Mikrofonen im Auto und Telefoncodecs mit geringer Bandbreite, wo ein Isolationsmodell kaum Spielraum hat, das Signal zu bereinigen, ohne es zu beschädigen.

Drei Szenarien im Datensatz

Die Aufnahmen sind in drei Kategorien unterteilt:

• Arbeit: Großraumbüros, Homeoffice und Besprechungsräume, mit 29 Sprecherinnen und Sprechern, 96 Aufnahmen, 24 Geräten, 4 Raumtypen und 17 Skripten. Die Geräte reichen von professionellen Jabra-Headsets bis zu Consumer-Earbuds.
• Callcenter: an vier realen Standorten erhoben, mit 7 Sprecherinnen und Sprechern, 106 Aufnahmen, 18 Headsets und 28 Skripten. Die Skripte deckten unter anderem Bank, Versicherung, Gesundheit und Telekommunikation ab. Die Hintergrundstimmen sind hier konstant und strukturiert, da jeder Agent sein eigenes Kundengespräch führt.
• Telefonate: 26 Sprecherinnen und Sprecher, 63 Aufnahmen, 18 Smartphone-Modelle, 4 Ortstypen und 20 Skripte. Die meisten entstanden in Autos über ein Bluetooth-Freisprechmikrofon, per Lautsprecher oder mit Earbuds, weitere in lauten Gebäuden, Geschäften, auf Straßen und in U-Bahn-Stationen. Die Herausforderung liegt hier im verschlechterten Audio selbst und nicht in einer gezielt eingesetzten zweiten Stimme.

In den Szenarien Arbeit und Callcenter treten Geräusche wie Büroplausch, Tastaturen, Musik und Stimmengewirr ganz natürlich neben den Nebenstimmen auf. Laut Krisp lässt sich genau diese Variabilität durch synthetisches Mischen nicht nachbilden.

Annotationen, Ergebnisse und Bedeutung

Zu jeder Aufnahme gehören ein handgeschriebenes Transkript und eine JSON-Metadatendatei mit Transkripttext, Geschlecht der sprechenden Person, Aufnahmegerät und Aufnahmeumgebung. Die Transkripte geben Sprache so wieder, wie sie tatsächlich vorkommt.

Krisp berichtet, dass sein Produkt Voice Isolation die Wortfehlerrate bei vorhandener zweiter Stimme um etwa drei Viertel senkt. Bei bereits sauberem Telefonaudio koste die Verarbeitung nach Unternehmensangaben etwas mehr, als sie bringe. Dabei handelt es sich um Aussagen des Unternehmens über das eigene Produkt.

Für Teams, die Voice Agents entwickeln oder Speech-to-Text evaluieren, lautet die wichtigste Erkenntnis: Hintergrundsprache ist ein eigener Fehlerfall, den bestehende öffentliche Benchmarks für Rauschen, Nachhall und Akzente nicht abdecken. Ein in echten Räumen mit echten Geräten aufgenommener Datensatz soll zeigen, wie sich Systeme verhalten, wenn es nicht ruhig ist.