Apple-Studie: Sprachmodelle und Menschen tun sich bei der Annotation von Übersetzungsqualität schwer
Apple-Forscher berichten, dass große Sprachmodelle bei der Bewertung maschineller Übersetzungen mitunter stärker mit menschlichen Annotatoren übereinstimmen als Menschen untereinander. In den meisten Szenarien blieben jedoch beide unzuverlässig. Die Studie von Hala Almaghout, Christian Federmann und Qin Gao erscheint bei der EMNLP.
- Apple-Forscher verglichen LLMs und menschliche Annotatoren bei den Qualitätsschemata MQM und ESA für Übersetzungen.
- Die Tests nutzten ein Langkontext-Set mit 70 Sprachpaaren sowie öffentliche Daten von WMT23 und WMT25.
- Bei einigen Aufgaben übertrifft die Übereinstimmung zwischen LLM und Mensch jene zwischen Menschen, doch beide schwanken stark und bleiben in den meisten Szenarien unzuverlässig.
- Menschen tun sich mit feingranularem MQM und ressourcenarmen Sprachen schwer, LLMs mit kleineren Fehlern, falschen Sprachvarianten und Fehlerspannen.
- Die Autoren nennen kollaborative Annotations-Pipelines aus Mensch und LLM als mögliche Verbesserung.
Was die Forscher untersucht haben
Laut der Studie gelten LLMs weithin als effizientere und kostengünstigere Alternative zum menschlichen Urteil, wenn es darum geht, maschinelle Übersetzung (MT) zu bewerten. Die MT-Evaluation umfasst viele Sprachpaare, Domänen und Granularitätsstufen der Annotation. Die Autoren argumentieren daher, dass LLMs in all diesen Dimensionen gründlich geprüft werden müssen, bevor sie die menschliche Bewertung verlässlich ersetzen können.
Das Team untersuchte zwei bekannte Verfahren zur Bewertung der Übersetzungsqualität: Multidimensional Quality Metrics (MQM) und Error Span Annotation (ESA). Für beide verglichen die Forscher, wie stark die Annotationen von LLMs mit denen menschlicher Annotatoren übereinstimmen. Dabei betrachteten sie sowohl die Übereinstimmung bei den Bewertungen (Scores) als auch bei der Markierung von Fehlerspannen.
Zu den Daten zählten ein Testset mit langem Kontext, das 70 Sprachpaare abdeckt, sowie die öffentlich verfügbaren Daten von WMT23 und WMT25.
Gemischte Ergebnisse für Modelle und Menschen
Der Studie zufolge übertrifft die Übereinstimmung zwischen LLMs und menschlichen Annotatoren bei einigen Evaluationsaufgaben die Übereinstimmung zwischen den menschlichen Annotatoren selbst. Die Ergebnisse schwanken jedoch erheblich je nach Annotationsschema, Sprachpaar und Domäne. Nach Einschätzung der Autoren bleiben sie in den meisten Szenarien unzuverlässig.
Die Studie zeigt auch, wo die jeweiligen Annotatorengruppen an Grenzen stoßen:
- Menschen haben besonders mit feingranularen MQM-Annotationen und mit ressourcenarmen Sprachpaaren Schwierigkeiten.
- LLMs tun sich mit kleineren Fehlern, falschen Sprachvarianten und der Annotation von Fehlerspannen schwer.
Dass Menschen untereinander uneins sind, ist bemerkenswert, denn menschliche Urteile gelten oft als Referenzpunkt, an dem automatisierte Verfahren gemessen werden.
Was das für die MT-Evaluation bedeutet
Die Autoren sehen in ihren Ergebnissen Verbesserungspotenzial sowohl bei der menschlichen als auch bei der LLM-basierten Annotation. Sie regen an, dass kollaborative Annotations-Pipelines aus Mensch und LLM die in der Studie aufgezeigten Zuverlässigkeitsprobleme angehen könnten. Allerdings stellen sie dies als Möglichkeit dar, nicht als erprobte Lösung.
Für Teams, die Übersetzungen mit LLMs bewerten lassen, ist die Studie eine Warnung davor, über alle Sprachpaare, Domänen und Annotationstypen hinweg von gleichbleibender Qualität auszugehen. Die Arbeit zeigt LLMs nicht als direkten Ersatz für die menschliche Bewertung. Zugleich macht sie deutlich, dass auch menschliche Annotation nicht durchgehend verlässlich ist, insbesondere bei der feingranularen Fehlerklassifikation und bei ressourcenarmen Sprachen.
