AssemblyAI: Gängige WER-Benchmarks können bessere Transkriptionsmodelle benachteiligen

Kunden sahen schlechtere Werte für ein neueres Modell

In einem Blogbeitrag von Zackary Klebanoff, Applied AI Lead, beschreibt AssemblyAI ein unerwartetes Ergebnis nach dem Start von Universal-3 Pro, das das Unternehmen als sein bislang fortschrittlichstes Transkriptionsmodell bezeichnet. Einige Kunden teilten mit, ihre Benchmarks zeigten, dass das neue Modell schlechter abschneide als ältere AssemblyAI-Modelle. Laut dem Unternehmen passte das nicht zu den eigenen internen Ergebnissen, weshalb es der Sache nachging.

Der typische WER-Ablauf beginnt, wie das Unternehmen ihn skizziert, mit 10 bis 20 Audiodateien, die die zentralen Anwendungsfälle eines Kunden abbilden. Ein menschlicher Transkriptionsdienstleister erstellt ein Referenztranskript, die sogenannte Truth-Datei. Dieselbe Audiodatei geht an mehrere Speech-to-Text-Anbieter. Beide Transkriptsätze werden anschließend mit dem Open-Source-Tool Whisper Normalizer normalisiert, das Text in Kleinbuchstaben umwandelt, Satzzeichen entfernt und gleichwertige Wörter auf eine gemeinsame Form abbildet. Zum Schluss vergleicht ein Paket wie jiwer die Texte. Die WER gibt den Prozentsatz falsch transkribierter Wörter an, niedriger ist besser.

Einfügungen erwiesen sich als korrekte Wörter

WER-Fehler lassen sich in Einfügungen, Auslassungen und Ersetzungen unterteilen. Bei der genauen Durchsicht der Kunden-Benchmarks fiel AssemblyAI eine überproportional hohe Zahl an Einfügungen auf, also Wörtern, die das Modell ausgab, die in der menschlichen Truth-Datei aber fehlten. Das Unternehmen hörte sich das Original-Audio an und gibt an, dass die große Mehrheit dieser Einfügungen korrekt war. Die Wörter waren gesprochen worden, der menschliche Transkribent hatte sie aber überhört.

Laut AssemblyAI übertraf sein Modell bei schwierigem Audio wie lauten Umgebungen, Akzenten, sich überlagernden Sprechern und schnellen Sprechern häufig das von Menschen erstellte Transkript, an dem es gemessen wurde. Das Fazit des Unternehmens: Wenn die Ground Truth falsch ist, ist auch die Bewertung falsch, und das Problem wird mit besseren Modellen sichtbarer.

Auch Formatierungsunterschiede zählen als Fehler

Ein zweites Problem betrifft die semantische Gleichwertigkeit. AssemblyAI erklärt, Universal-3 Pro habe im Kern einen Decoder auf Basis eines Large Language Models, der ihm ein besseres Gespür für Grammatik und Formatierung verleihe. Dadurch schreibt das Modell womöglich "alright", wo ein Mensch "all right" schrieb, "healthcare" statt "health care" oder "setup" statt "set up". Die Bedeutung ist identisch, doch eine WER-Auswertung verbucht jeden dieser Fälle als Fehler. Der Whisper Normalizer deckt einige Fälle ab, etwa don't und do not, aber nicht jede domänenspezifische oder stilistische Variante.

Das Korrekturtool und die Wortlisten

Da es bei stundenlangen Aufnahmen unrealistisch ist, jeden Fehler von Hand zu prüfen, hat AssemblyAI ein Tool mit zwei Funktionen entwickelt. Die erste ist die Korrektur der Truth-Datei. Nutzer reichen ihre Truth-Dateien und das Audio ein, das Tool führt eine Transkription mit Universal-3 Pro durch und listet jede Abweichung auf, wobei sich das passende Audiosegment direkt abspielen lässt. Für jede Abweichung wählt der Nutzer aus drei Optionen:

• AssemblyAI lag richtig, die Truth-Datei wird entsprechend angepasst.
• AssemblyAI lag falsch, die Truth-Datei bleibt unverändert.
• Keines von beiden stimmt, der Nutzer trägt ein, was tatsächlich gesprochen wurde. Unverständliche Passagen lassen sich mit [inaudible] kennzeichnen.

Die WER aktualisiert sich live, während der Nutzer die Fehler durchgeht. Laut dem Unternehmen muss dies nur einmal erfolgen, und die korrigierten Truth-Dateien lassen sich für künftige Benchmarks wiederverwenden, auch für Vergleiche mit anderen Anbietern.

Die zweite Funktion ist die Erstellung semantischer Wortlisten. Nutzer legen Gruppen von Wörtern an, die als gleichwertig behandelt werden, und übernehmen die Liste in ihre Evaluierungspipeline. AssemblyAI beschreibt das als einfaches Suchen und Ersetzen für semantisch gleiche Wörter, damit stilistische Unterschiede keinen Anbieter zu Unrecht benachteiligen. Das Tool steht im Playground des Unternehmens bereit.

Streaming, das GitHub-Repo und die Bedeutung

AssemblyAI rät außerdem, asynchrone und Streaming-Modelle getrennt zu evaluieren. Beim asynchronen Benchmarking wird eine vollständige Audiodatei gesendet und ein komplettes Transkript zurückgegeben. Beim Streaming müssen Audiobytes in Echtzeit eingespeist werden, der Benchmark muss also parallel über die gesamte Dauer jeder Datei laufen, was das Unternehmen als deutlich komplexer bezeichnet. Universal-3 Pro ist in beiden Varianten verfügbar, die Ergebnisse sollten nicht vermischt werden.

Außerdem veröffentlicht das Unternehmen ein GitHub-Repository, das zeigt, wie sich mit korrigierten Truth-Dateien und semantischen Wortlisten eine interne Benchmarking-Pipeline aufbauen lässt. Sie kann geplante Evaluierungen, WER-Tracking in CI/CD-Pipelines oder Wettbewerbs-Benchmarks über mehrere Anbieter hinweg unterstützen.

Für Teams, die Transkriptionsanbieter vergleichen, lautet die Botschaft: Die Referenztranskripte prüfen, bevor man einem Ranking vertraut. AssemblyAI hält die WER weiterhin für eine nützliche Kennzahl, argumentiert aber, dass unkorrigierte Truth-Dateien und Formatierungsabweichungen die Ergebnisse verzerren können, insbesondere bei neueren Modellen. Dabei ist zu beachten, dass die Erkenntnisse und das Tool von einem Anbieter stammen, der ein Interesse am Ergebnis hat, und dass die Aussagen zur Genauigkeit von Universal-3 Pro vom Unternehmen selbst stammen.