Aleph Alpha: Maschinell übersetzte deutsche KI-Benchmarks messen oft das Falsche

Wofür ein Benchmark-Wert tatsächlich steht

Eine LLM-Evaluation, auch Eval oder Benchmark genannt, ist eine Sammlung von Tausenden Fragen mit bekannten Antworten. Das Modell beantwortet sie, und der Prozentsatz richtiger Antworten ist sein Score. Laut Aleph Alpha decken gängige Evals Schulwissenschaft (ARC), Alltagsverstand (HellaSwag) und Allgemeinwissen (MMLU) ab, und nahezu jede Modellveröffentlichung nennt Scores aus solchen Tests.

Die Autoren argumentieren, ein Score spiegle zweierlei wider: was ein Modell weiß und was es kann. Eine einzelne Fähigkeit isoliert zu messen, sei schwierig. Ihr Beispiel ist eine Mathematikaufgabe aus GSM8K über eine Frau, die jeden Morgen ein Omelett aus 3 Eiern isst. Zur Lösung braucht es Rechnen, aber auch das Wissen, dass eine Woche sieben Tage hat und ein Dutzend zwölf ist. Mit den Worten des Unternehmens misst keine Eval eine einzelne Fähigkeit für sich allein, jeder Score sei also eine Mischung. Die Übersetzung einer Eval ins Deutsche kann diese Mischung verändern und damit auch die Aussagekraft des Scores.

Warum deutsche Modelle deutsche Evals brauchen

Aleph Alpha erklärt, man baue Modelle für deutschsprachige Nutzerinnen und Nutzer, die auf Deutsch und im Kontext deutscher Kultur, deutschen Rechts und deutscher Gesellschaft funktionieren. Ein früherer Beitrag des Unternehmens argumentierte, solche Modelle benötigten deutsche Trainingsdaten, übersetzte englische Daten reichten nicht aus. Dasselbe gelte für Evals, so die Forschenden. Nahezu alle Standard-Evals sind englisch, und die weit verbreiteten deutschen Versionen sind maschinelle Übersetzungen.

Die Grenzen der Übersetzung veranschaulicht das Team mit einem Rätsel: Wie kann man seinen Schatz nennen und zugleich aufs Toast streichen? Im Englischen lautet die Antwort „honey“. Die wörtliche deutsche Übersetzung „Honig“ ist kein Kosewort, das Rätsel funktioniert also nicht, und man bräuchte ein anderes, um dieselbe Fähigkeit zu testen.

Drei Stufen der Fehlübersetzung

Das offensichtlichste Problem ist falsche Übersetzung. Aleph Alpha ordnet die Fehler drei Schweregraden zu, je nachdem, wie viel der ursprünglichen Bedeutung erhalten bleibt.

• Falsche Wortwahl, gleiche Frage. Ein einzelner Begriff ist falsch übersetzt. In einer ARC-Aufgabe wurde „consumer“ zu „Verbraucher“, also dem ökonomischen Konsumenten, statt zum ökologischen Fachbegriff „Konsument“. Eine MMLU-Aufgabe enthielt „prim-powriger Ordnung“, was kein deutsches Wort ist. In einer TruthfulQA-Aufgabe wurde „spend“ mit „verbringen“ wiedergegeben, im Sinne von Zeit verbringen. Der Score misst dann teilweise, wie gut ein Modell das englische Original rekonstruieren kann.
• Saubere Formulierung, andere Frage. Das Deutsche ist korrekt, fragt aber etwas anderes. Eine MMLU-Frage, die mit „As of 2016“ begann, wurde zu „Ab welchem Prozentsatz“ und damit zu einer Schwellenwertfrage. Nichts deutet auf die Änderung hin, sodass das Modell an der Antwort auf eine Frage gemessen wird, die ihm nie gestellt wurde.
• Kaputter Satz, ohne Sinn. Wortstellung oder Grammatik versagen vollständig. Eine TruthfulQA-Aufgabe von Eurolingua wiederholte einen Teil eines Satzes, was die Autoren darauf zurückführen, dass das Übersetzungssystem „stottert“. Solche Aufgaben erzeugen Rauschen, also zufällige Schwankungen im Score, die nichts über die Fähigkeiten eines Modells aussagen.

Die Beispiele stammen aus übersetzten Datensätzen mit den Bezeichnungen LeoLM, Eurolingua, Wino-X und Global-MMLU.

Wenn die Grammatik allein die Frage beantwortet

Das zweite Problem betrifft Multiple-Choice- und Lückentext-Evals. Englische Wörter ändern ihre Form kaum, deutsche Substantive haben dagegen ein Geschlecht, und Artikel und Adjektive passen sich an. Der Satzanfang schränkt also ein, wie der Satz weitergehen kann. In der englischen Lücke „I ate the ___ (hamburger / melon)“ passen beide Optionen. Im Deutschen, „Ich aß den ___“, ist nur „Hamburger“ grammatisch korrekt, denn „Melone“ bräuchte den femininen Artikel „die“.

Übersetzt man eine Frage und ihre Antwortoptionen getrennt, geht die Übereinstimmung verloren, entweder bei allen Optionen oder nur bei einigen. Frage und Optionen könnten auseinanderdriften, sagen die Autoren. In Beispielen aus ARC und HellaSwag setzt keine Option die deutsche Frage grammatisch fort. In zwei MMLU-Beispielen, aus Global-MMLU und Eurolingua, wurde nur ein Teil der Aufgabe übersetzt. In beiden Fällen muss das Modell zuerst erraten, wie die Aufgabe gemeint war, bevor es antwortet. Der hier vorliegende Quelltext bricht bei diesen Beispielen ab, und das dritte Problem, in der US-Kultur verwurzelte Fragen, wird zwar genannt, aber nicht näher ausgeführt.

Was das für Nutzer bedeutet

Die Ergebnisse legen nahe, dass ein deutscher Benchmark-Score nicht ohne Prüfung der Übersetzung als gleichwertig mit seinem englischen Gegenstück gelten kann. Für Entwickler und Käufer, die Modelle bei deutschen Aufgaben vergleichen, kann ein Score teilweise die Fähigkeit eines Modells widerspiegeln, fehlerhaftes Deutsch zu entschlüsseln oder grammatische Hinweise auszunutzen. Aleph Alphas Fazit lautet, wie schon im Titel: Deutsche Benchmarks brauchen mehr als Übersetzung.