Apple-Studie stellt infrage, ob LLM-Richter menschliche Schreibpräferenzen abbilden
Apple-Forscher haben untersucht, wie zuverlässig Large Language Models beurteilen können, ob generierte Texte dem bevorzugten Stil eines Nutzers entsprechen. Die Studie zeigt, dass die Leistung der Bewertungsmodelle je nach Aufgabe und Bewertungskriterien variiert. Die allgemeine Modellfähigkeit steht dagegen nur in einem schwachen Zusammenhang mit der Qualität der Bewertungen.
- Apple-Forscher haben LLM-Bewertungsmodelle für personalisierte Schreibaufgaben untersucht.
- Die Qualität der Bewertungen korrelierte nur schwach mit der MMLU-Fähigkeit, mit einem Pearson-ρ von ≤ 0.2.
- Die Leistung variierte je nach Schreibaufgabe und Bewertungskriterien.
- Paarvergleiche waren konsistenter und leistungsfähiger als unabhängige Bewertungen.
- Die leistungsstärksten LLMs reproduzierten menschliche Bewertungen nicht am zuverlässigsten.
Bewertungsmodelle für personalisierte Texte im Test
Das Paper mit dem Titel Evaluating the Evaluators: Investigating LLM Judges for Personalized Writing Style Assessment wurde im November 2026 veröffentlicht und für den Workshop Can We Trust AI Evaluation? auf der NeurIPS 2026 angenommen. Die Autoren sind Natalie Mackraz, Andrew Silva, Aini Putkonen, Brihi Joshi, Joelle Alcaidinho, Arnav Arora, Barry-John Theobald und Katherine Metcalf.
Die Forschung konzentriert sich auf Fälle, in denen der bevorzugte Schreibstil eines Nutzers bekannt ist, etwa ein „aufgeweckter“ Ton, und ein LLM beurteilen soll, ob ein generierter Text dieser Präferenz entspricht. Apple bezeichnet dies als wichtiges Problem bei personalisierten Schreibaufgaben, bei denen ein System mehr als nur die allgemeine Qualität bewerten muss.
Für die Untersuchung generierten die Forscher mit vier LLMs Texte für drei umfangreiche Schreibaufgaben. Anschließend sammelten sie menschliche Bewertungen dazu, welche von zwei Antworten besser war, erfassten Rangfolge-Bewertungen von LLMs und verglichen die Bewertungen von Menschen und Modellen.
Modellstärke war ein schwacher Indikator
Die Studie berichtet, dass die Qualität der Bewertungen nur schwach mit der allgemeinen LLM-Fähigkeit korrelierte, gemessen anhand von MMLU. Der Pearson-Korrelationskoeffizient ρ lag bei ≤ 0.2. Die Leistung variierte außerdem sowohl je nach Schreibaufgabe als auch nach Bewertungskriterien, darunter der Unterschied zwischen allgemeiner Hilfsbereitschaft und der Personalisierung des Schreibstils.
Diese Ergebnisse legen nahe, dass die umfassenden Fähigkeiten eines Modells in den Bereichen Schlussfolgern oder gesunder Menschenverstand allein nicht zeigen, wie gut es personalisierte Texte bewerten kann. Ein Bewertungsmodell kann je nachdem, was es beurteilen soll und welchen Maßstab es anwenden muss, unterschiedlich gut abschneiden.
Die Apple-Forscher stellten außerdem fest, dass LLM-Bewerter konsistenter waren und bessere Ergebnisse erzielten, wenn sie zwei Antworten direkt miteinander verglichen, statt Antworten unabhängig voneinander zu bewerten. Das Ergebnis spricht im untersuchten Kontext für Paarvergleiche als nützliche Methode zur Bewertung generierter Texte.
Warum das Bewertungsdesign entscheidend ist
Das Paper stellt auch die Annahme infrage, dass das „stärkste“ LLM die am besten mit Menschen übereinstimmenden Bewertungen liefert. Die Forscher stellten fest, dass die leistungsstärksten Modelle menschliche Bewertungen nicht am zuverlässigsten reproduzierten. Sie vermuten, dass dies mit einer übermäßigen Empfindlichkeit für subtile Details zusammenhängen könnte, die menschliche Bewerter und schwächere LLMs ignorieren.
Für Entwickler, die Schreibsysteme auf Grundlage von Nutzerpräferenzen entwickeln, zeigen die Ergebnisse, dass das Bewertungsmodell für die konkrete Schreibaufgabe und das jeweilige Ziel getestet werden muss. Die Auswahl sollte nicht allein anhand der allgemeinen Modellfähigkeit erfolgen. Die Forschung deutet außerdem darauf hin, dass die Entscheidung zwischen unabhängigen Bewertungen und Paarvergleichen Konsistenz und Leistung beeinflussen kann.
Die Studie präsentiert kein allgemein zuverlässig einsetzbares LLM als Bewertungsmodell. Stattdessen zeigt sie, dass die Beurteilung personalisierter Texte den Vergleich von Modellbewertungen mit menschlichen Labels und eine Untersuchung der Auswirkungen des Bewertungsaufbaus erfordert.
