UW-Studie: KI-Modelle bewerten manche Akzente schlechter
Eine von der University of Washington geleitete Studie zeigt, dass führende KI-Modelle englische Akzente aus China und Nigeria bei der Bewertung von Bewerbungsgesprächen, Präsentationen und gesprochenen Englischtests schlechter einstuften als amerikanische und britische Akzente. Die Modelle bevorzugten diese Akzente häufig, obwohl der gesprochene Inhalt identisch und korrekt transkribiert war.
- UW-Forschende testeten Gemini 2.5 Pro, Gemini 2.5 Flash, GPT-Audio 1.5 und Qwen 3 Omni.
- Chinesische und nigerianische Akzente erhielten im Allgemeinen die niedrigsten Bewertungen.
- Amerikanische und britische Akzente erhielten die höchsten Bewertungen.
- Die Studie verwendete identische Texte und wurde mit 52 menschlichen Sprechern überprüft.
- Die Forschenden wollen weitere Akzente und medizinische Audioanwendungen untersuchen.
Vier Modelle bewerteten fünf englische Akzente
Die Forschenden testeten drei proprietäre Modelle, Googles Gemini 2.5 Pro und Gemini 2.5 Flash sowie OpenAIs GPT-Audio 1.5, außerdem das quelloffene Qwen 3 Omni. Die Modelle bewerteten die Sprache auf einer Skala von eins bis sieben sowohl hinsichtlich der Darbietung als auch des Inhalts und lieferten kurze Begründungen für ihre Bewertungen.
KI-Stimmen von ElevenLabs lasen dieselben Texte mit amerikanischem, britischem, chinesischem, indischem und nigerianischem Akzent vor. Die Texte behandelten Bewerbungsgespräche, Präsentationen in Klassen und auf Konferenzen sowie mündliche Englischtests. Das Team überprüfte seine Ergebnisse außerdem mit 52 menschlichen Sprecherinnen und Sprechern aus den fünf Ländern.
Amerikanische und britische Sprecher erhielten höhere Bewertungen
Die Modelle stuften chinesische und nigerianische Akzente im Allgemeinen am niedrigsten ein, indische Akzente im Mittelfeld und amerikanische sowie britische Akzente am höchsten. Sie bewerteten sowohl die Darbietung als auch den Inhalt bei amerikanischen und britischen Sprechern besser, selbst wenn die Wörter und die zugrunde liegenden Antworten identisch waren.
Auch bei der Bewertung menschlicher Bewerbungsgespräche schnitten amerikanische und britische Akzente besser ab, wobei der Abstand zwischen den menschlichen Sprechern größer war als zwischen den KI-Stimmen. Die Forschenden stellten fest, dass Akzente mit größerer akustischer Distanz zu amerikanischen Akzenten häufig schlechter eingestuft wurden.
Die Begründungen der Modelle spiegelten dasselbe Muster wider. Sie beschrieben chinesische und nigerianische Sprecher wiederholt als Personen, die „nuschelten“ oder „schwer zu verstehen“ seien, obwohl die Systeme die Sprache mit Akzent korrekt transkribieren konnten.
„Sie verstanden die Sprecher, hatten aber offenbar eine implizite Vorstellung von einer Hierarchie zwischen ihnen, die auf dem Akzent beruhte“, sagte der mitverantwortliche Hauptautor Orevaoghene Ahia, Doktorand an der UW, laut dem Bericht von UW News.
Die Ergebnisse geben Anlass zur Sorge in Arbeitswelt und Bildung
Die Forschung wurde am 25. Oktober auf der Conference on Empirical Methods in Natural Language Processing in Budapest, Ungarn, vorgestellt. Ahia sagte, dass Audio-KI-Modelle zunehmend als externe Bewerter bei Einstellungen, mündlichen Prüfungen im Bildungsbereich und Englischtests für Einwanderungsverfahren eingesetzt würden, bei denen Fairness entscheidend sei.
Nach Angaben der Forschenden könnte die Akzentverzerrung über Trainingsdaten in die Modelle gelangen, die Sprecher mit Akzent als schwer verständlich beschreiben, bestimmte Bevölkerungsgruppen unzureichend abbilden oder herkömmliche Vorstellungen davon verstärken, wie ein professioneller Sprecher klingen sollte. Die Studie weist außerdem darauf hin, dass Englisch die Amtssprache in Nigeria und die Unterrichtssprache an indischen Schulen ist, diese Akzente aber dennoch schlechter bewertet wurden als britische und amerikanische Akzente.
Die leitende Autorin Yulia Tsvetkov sagte, künftige Arbeiten sollten repräsentativere Trainings- und Bewertungsdatensätze erstellen. Das Team will weitere Akzente untersuchen, darunter regionale Unterschiede innerhalb von Ländern, sowie Audioanalysen in medizinischen Bereichen wie der automatisierten Notfallversorgung.
