Aleph Alpha: Durchgesickerte Benchmark-Daten blähten HumanEval-Werte um 45 Punkte auf

Was der Scan ergab

Vor dem Mid-Training von Kolibri hat Aleph Alpha seinen gesamten Mid-Training-Pool mit 8,3 Milliarden Dokumenten gegen jeden Benchmark seiner Evaluierungssuite abgeglichen. Nach Angaben des Unternehmens wurden dabei 1,5 Millionen Dokumente entfernt, die eine Benchmark-Aufgabe nahezu wörtlich zitieren. Viele davon enthalten Trainingsaufgaben der Benchmarks statt Testaufgaben.

Um den Wert dieser Dokumente zu messen, fügte das Team sie in einem Proxy-Lauf wieder ein. Das Ergebnis laut Aleph Alpha: HumanEval stieg um 45 Punkte, MMLU um 28. Der Zuwachs erstreckte sich sogar auf Fragen, die nie durchgesickert waren.

Das Referenzset stammt aus dem Task-Register des unternehmenseigenen Evaluierungs-Frameworks: 226 Aufgaben und 6,1 Millionen Instanzen, einschließlich Train-, Validierungs- und Test-Splits. Es umfasst MMLU, MMLU-Pro, ARC, HellaSwag, TriviaQA, GSM8K, MATH, HumanEval, MBPP, SQuAD sowie deutsche Entsprechungen. 64 der 226 Aufgaben sind deutschsprachig. Ein Dokument, das zu irgendeiner Aufgabe passt, wird verworfen; neben den Daten wird ein Trefferbericht mit dem zitierten Evaluierungstext abgelegt, sodass sich jede Entfernung überprüfen lässt.

Warum kontaminierte Werte in die Irre führen

Aleph Alpha argumentiert, ein Benchmark sei eine kleine Stichprobe, die für einen weit größeren Raum an Problemen steht. Die 1.319 Fragen des GSM8K-Testsets stehen etwa stellvertretend für Grundschulmathematik insgesamt. Hat ein Modell diese Stichprobe einmal gesehen, kann der Wert steigen, ohne dass sich die zugrunde liegende Leistungsfähigkeit ändert.

Der Beitrag verweist auf externe Belege. Forscher von Scale AI schrieben GSM1k, eine Aufgabensammlung, die GSM8K in Stil und Schwierigkeit entspricht; einige Modelle schnitten darauf um bis zu 8 Prozentpunkte schlechter ab als beim Original (in der ersten Fassung der Studie waren es 13). LiveCodeBench stellte fest, dass DeepSeek-Instruct und GPT-4o bei LeetCode-Aufgaben schlechter abschnitten, die nach ihrem Release- und Stichtagsdatum veröffentlicht wurden. Außerdem merkt der Beitrag an, dass von 30 befragten Entwicklern nur 9 Überschneidungen zwischen Trainings- und Testdaten melden.

Es gibt auch einen internen Grund: Aleph Alpha stellt Datenmischungen zusammen, indem es Benchmark-Werte vergleicht, sodass ein aufgeblähter Wert diese Auswahl verzerren kann.

Wie der Detektor arbeitet

Das Unternehmen hat den von AI2 für das OLMo-3-Mid-Training veröffentlichten Decon-Algorithmus in seine eigene Datenkuratierungs-Pipeline integriert. Fragen werden als 5-Gramme, Antworten als 3-Gramme indexiert, jeweils gewichtet nach inverser Dokumenthäufigkeit, sodass gemeinsamer Standardtext wie etwa eine Prompt-Vorlage mit null zählt. Damit ein Scan über Billionen Token bezahlbar bleibt, prüft der Detektor nur jedes zehnte 5-Gramm. Laut Beitrag kann dadurch eine vollständige Kopie einer Frage mit 14 Token oder mehr nicht übersehen werden.

Eine übereinstimmende Textstelle wird nach der Überlappung mit der Frage (Gewicht 0,75) und danach bewertet, ob die Antwort in der Nähe steht (Gewicht 0,25). Ein Dokument wird markiert, sobald eine Instanz 0,8 oder mehr erreicht. Für Instanzen unter 50 Token gilt eine strengere Schwelle, die bei 20 Token auf eine perfekte Übereinstimmung ansteigt; Instanzen mit weniger als 20 Token werden gar nicht indexiert.

Aleph Alpha verwirft ganze Dokumente, statt nur den übereinstimmenden Teil herauszuschneiden, wie es GPT-3 mit 200 Zeichen um jedes kollidierende 13-Gramm tat. Dieser Ansatz hinterlasse, so das Unternehmen, ein Loch an der Stelle der Beweise und erschwere die Nachprüfung der Ergebnisse.

Die blinden Flecken

Der Detektor selbst brachte höchstens 60 Prozent der durchgesickerten MMLU-Fragen über seine Schwelle, bei den durchgesickerten TriviaQA-Fragen waren es 13 Prozent. Der Rest wurde nur entfernt, weil er in denselben Dateien lag wie erkanntes Material.

Auch die Dekontaminierung des Mid-Trainings reichte nicht aus. Memorierung aus dem Pre-Training, dessen Daten Aleph Alpha nicht dekontaminiert hatte, tauchte über das dekontaminierte Mid-Training wieder auf: Das Modell gab weiterhin HumanEval-Lösungen wieder, die es dort gelernt hatte. Das Unternehmen sagt, es habe dies nur bemerkt, weil es die Benchmark-Werte während des Produktionslaufs genau im Blick behielt.

Was das bedeutet

Für alle, die Benchmark-Tabellen lesen, ist der Beitrag eine Erinnerung daran, dass ein hoher Wert auf Auswendiglernen beruhen kann und dass das Filtern einer einzelnen Trainingsphase womöglich nicht genügt. Aleph Alpha weist zudem darauf hin, dass die Zahl seiner Aufgaben bereits überholt sei, denn jeder neue Benchmark im Register bedeute, dass der Pool erneut durchsucht werden müsse.