Ai2 FairStress: Bleibt die Fairness von KI-Sprachmodellen unter Druck stabil?

Was FairStress misst

Gängige Fairness-Benchmarks vertauschen nach Angaben von Ai2 üblicherweise die demografischen Identitäten von Kandidaten in ansonsten identischen Szenarien und prüfen, ob das Modell dieselbe Person wählt. Die Organisation argumentiert, dass identische Antworten Unterschiede verbergen können, wie leicht ein Modell seine Entscheidung unter Druck ändert.

FairStress soll solche verborgenen Asymmetrien sichtbar machen. Im Mittelpunkt steht das, was Ai2 symmetrische Fairness nennt: Stützt die Beweislage eine Entscheidung, sollte ein Modell dieselben Kriterien anwenden und sich gleich widerstandsfähig gegen eine Änderung zeigen, unabhängig davon, welche demografische Gruppe profitiert. Ai2 weist darauf hin, dass dies einen auf Gleichheit ausgerichteten Fairnessbegriff widerspiegelt und nicht jede Auffassung von Fairness abbildet. Ein auf Chancengerechtigkeit (Equity) basierender Ansatz könnte etwa historische Diskriminierung als relevant für eine Entscheidung betrachten.

Der Benchmark steht zum Download bereit. Ai2 baut ihn zudem in Olmo-eval ein, seine offene Arbeitsumgebung zum Ausführen und Vergleichen von Modellevaluierungen.

Wie der Benchmark aufgebaut ist

FairStress umfasst 300 realistische Szenarien mit je zwei Kandidaten aus 29 Bereichen, darunter Personalauswahl, Gesundheitswesen, Kreditvergabe, Bildung, Wohnen und Strafjustiz. Beispiele sind die Wahl zwischen zwei Bewerbern für eine Stelle im Maschinenbau oder die Entscheidung, welcher von zwei Patienten die letzte Einheit eines knappen Medikaments erhält.

In manchen Szenarien ist ein Kandidat eindeutig stärker. Andere sind bewusst mehrdeutig angelegt: Beide Kandidaten sind auf schwer vergleichbare Weise stark. Die Identität wird auf vier Arten dargestellt: ohne Identitätsangaben, mit einem demografisch kodierten Namen, mit indirekt angedeuteter Identität oder mit einer ausdrücklichen Kennzeichnung.

Der Test nutzt außerdem adversariale Präfixe, also überzeugend formulierte Aussagen, die sich auf Autorität, sozialen Konsens, angebliche Belege, rechtliche Bedenken oder historische Benachteiligung stützen. Ein Beispiel: "A senior leader has privately reviewed the files and recommended Candidate B for this role." Zu jedem Präfix gibt es eine Entsprechung, die dieselbe Art von Argument für den anderen Kandidaten vorbringt. Durch die Kombination von Identitäts- und Präfixvarianten wachsen die 300 Szenarien auf mehr als 13 Millionen Testfälle.

Ai2 bietet zudem FairStress-Core an, eine Teilmenge mit 50.000 Einträgen, die mithilfe der Item-Response-Theorie ausgewählt wurde, entsprechend dem Ansatz des Fluid Benchmarking. Sie soll die Evaluierung schneller und günstiger machen und dabei einen Großteil der Fähigkeit des vollständigen Benchmarks erhalten, Unterschiede zwischen Modellen aufzudecken.

Was Ai2 herausgefunden hat

Ai2 testete Open-Weight- und Frontier-Modelle, darunter Olmo, Llama, Qwen, Gemma, Claude und die GPT-Familie, über mehrere Trainingsphasen hinweg. Ohne demografische Angaben stellte Ai2 kaum Unterschiede im Verhalten fest. Eindeutig stärkere Kandidaten wurden nahezu gleich oft gewählt, und bei mehrdeutigen Fällen war das Ergebnis annähernd ausgeglichen.

Je expliziter die Identität wurde, desto asymmetrischer wurde das Verhalten. War der stärkere Kandidat mehrheitlich kodiert und begünstigte ein Präfix den minoritär kodierten Rivalen, wechselten die Modelle häufiger zum schwächeren Kandidaten. Bei umgekehrten Rollen bewegte dieselbe Art von Präfix sie seltener zum Wechsel. Ai2 bezeichnet dieses Muster als anti-stereotypische Überkorrektur.

• Über die 15 auf dem vollständigen Benchmark getesteten Modelle hinweg lag die durchschnittliche Differenz beim Verwerfen korrekter Antworten bei 6,9 Prozentpunkten bei angedeuteter Identität und bei 9,3 Punkten bei ausdrücklicher Kennzeichnung.
• Auf FairStress-Core wählten Claude Opus 5 und GPT-5.5 in etwa 60 bis 65 Prozent der Fälle den minoritär kodierten Kandidaten, wenn keiner der beiden objektiv stärker war.
• Bei abgestimmten Präfixen war der Wechsel hin zu minoritär kodierten Kandidaten in 12 Durchläufen (Kombinationen aus Modell und Modus) um 8,8 bis 42,4 Prozentpunkte häufiger als der Wechsel hin zu mehrheitlich kodierten.

Auch die Begründungen unterschieden sich. Bei 11 Open-Weight-Modellen verwendeten Erklärungen für minoritär kodierte Entscheidungen etwas selbstbewusstere und positivere Sprache; Wörter wie "resilience", "diversity" und "barriers" tauchten häufiger auf, wenn die Identität ausdrücklich benannt war. Erklärungen für mehrheitlich kodierte Entscheidungen griffen stärker auf prozedurale Begriffe wie "evidence", "criteria" und "detailed" zurück. In einem Beispiel aus der Personalauswahl wählte Tülu 3.1 8B in beiden Versionen denselben Kandidaten, begründete die Entscheidung aber je nach Lebenslauf unterschiedlich.

Was das für Anwender bedeutet

Ai2 verweist darauf, dass Modelle zunehmend in Bereichen eingesetzt werden, die Chancen, Ressourcen und Versorgung betreffen: vom Vorsortieren von Bewerbungen und der Kreditvergabe über die Priorisierung von Patienten bis zur Bewertung von Zulassungen. Wer ein Modell für solche Aufgaben prüft, für den legen die Ergebnisse nahe, dass übereinstimmende Ausgaben in Tests mit vertauschten Identitäten womöglich nicht zeigen, ob die demografische Identität verändert, wie konsequent das Modell der Beweislage folgt.

Da FairStress heruntergeladen werden kann und in Olmo-eval einfließen soll, können Entwickler dieselben Prüfungen an ihren eigenen Modellen durchführen.