Ein einziges Leerzeichen verschiebt Antwortwahrscheinlichkeiten um Größenordnungen, zeigt Aleph Alpha
Wo in einem Multiple-Choice-Prompt ein einzelnes Leerzeichen steht, kann die Wahrscheinlichkeit, die ein Modell der richtigen Antwort zuweist, um mehrere Größenordnungen verändern. Das geht aus neuer Forschung von Aleph Alpha hervor. Die Genauigkeit bleibt dagegen meist stabil, und die Forscher führen den Effekt auf eine Diskrepanz zwischen Tokenisierung im Training und in der Evaluation zurück.
- Steht das Leerzeichen im Prompt statt in der Antwortoption, sinkt die Wahrscheinlichkeit der richtigen Antwort laut Aleph Alpha um mehrere Größenordnungen.
- Ursache ist die Tokenisierung: Die kanonische Form kommt etwa 2.300-mal pro Million Token vor, die Alternative nur 0,03- bis 0,10-mal.
- In sechs von neun Kombinationen aus Modell und Benchmark ändert sich die Genauigkeit um weniger als einen halben Punkt, Qwen3.5 verliert bei PIQA jedoch fast zehn Punkte.
- Die Modelle zeigen außerdem Label-Verzerrungen, etwa B bei Qwen3.5 und D bei Gemma 4.
- Aleph Alpha befürwortet Space-in-Answer als Standard.
Eine winzige Formatierungsentscheidung mit großer Wirkung
Bei Multiple-Choice-Evaluationen ist es üblich, den Prompt mit Answer: enden zu lassen und die Wahrscheinlichkeiten des nächsten Tokens für die Antwortbuchstaben A, B, C und D auszulesen. In gewöhnlichem Text folgt auf den Doppelpunkt ein Leerzeichen, der String lautet also Answer: B. Dieses Leerzeichen muss entweder zum Prompt (Space-in-Prompt) oder zur Antwortoption (Space-in-Answer) gehören.
Eine Arbeit von Sanz-Guerrero, Bui und von der Wense aus dem Jahr 2025 mit dem Titel Mind the Gap stellte empirisch fest, dass Space-in-Answer über eine Reihe von Modellen hinweg durchgängig besser abschneidet, und empfahl es als Standard. Die Autoren von Aleph Alpha, Prabhu Sivaprasad, Frank Schneider, Martin Reinhardt, Fabien Benureau und Tom Burns, erklären nun, woran das liegt.
Der Tokenizer ist die Ursache
Beim Pre-Training sieht ein Modell Text wie Answer: B und lernt, das jeweils nächste Token vorherzusagen. Aleph Alpha nennt die daraus entstehende Aufteilung die kanonische Tokenisierung. Bei den sechs modernen Tokenizern, die das Team untersucht hat, wird der Text in Answer, : und ␣B zerlegt, das Modell lernt also, den Buchstaben samt vorangestelltem Leerzeichen vorherzusagen.
In einer Stichprobe von einer Million Dokumenten aus DCLM-Baseline taucht die kanonische Form etwa 2.300-mal pro einer Million Token auf. Die Alternative, ein eigenständiges Leerzeichen gefolgt von einem bloßen B, kommt nur etwa 0,03- bis 0,10-mal pro Million vor, ein Abstand von vier bis fünf Größenordnungen.
Space-in-Answer reproduziert bei jedem getesteten Tokenizer exakt die kanonische Tokensequenz. Space-in-Prompt tut das nicht: Der Prompt endet auf einem eigenständigen Leerzeichen, und das Modell muss ein bloßes B vorhersagen, eine Sequenz, die es im Pre-Training praktisch nie gesehen hat. Die Autoren nennen die zugrunde liegende Bedingung Tokenizer-Komponierbarkeit (tokenizer composability): Wer Prompt und Antwort getrennt tokenisiert und anschließend zusammenfügt, sollte dasselbe Ergebnis erhalten wie bei der Tokenisierung des gesamten Strings. Alle untersuchten Tokenizer verletzen diese Bedingung an der Grenze zwischen Prompt und Antwort.
Wahrscheinlichkeiten brechen ein, die Genauigkeit meist nicht
Das Team berechnete die Log-Wahrscheinlichkeiten der richtigen Antwort für beide Varianten auf MMLU, ARC und PIQA mit den Basismodellen Olmo-3-7B, Qwen3.5-35B-A3B und Gemma-4-26B-A4B. Bei Space-in-Answer konzentrieren sich die Werte nahe null, das Modell legt also den größten Teil der Wahrscheinlichkeit auf das richtige Label. Bei Space-in-Prompt liegen sie niedriger und streuen breiter, und zwar durchgängig über alle Modelle und Benchmarks hinweg.
Die Genauigkeit wird deutlich weniger beeinflusst, weil der Einbruch alle Kandidaten ähnlich trifft. In sechs von neun Kombinationen aus Modell und Benchmark ändert sich die Genauigkeit um weniger als einen halben Punkt. Eine Ausnahme ist Qwen3.5, das bei PIQA fast zehn Punkte verliert.
Die Forscher weisen zudem auf eine Label-Verzerrung hin, wenn Optionen als bloße Buchstaben bewertet werden: Modelle bevorzugen bestimmte Labels, etwa B bei Qwen3.5 und D bei Gemma 4. Das betrifft einige Benchmarks, vor allem wenn das Modell weniger sicher ist.
Was das für die Evaluation bedeutet
Nach Angaben der Autoren wird auch jede Größe, die direkt auf diesen Likelihoods aufbaut, etwa die Bits-per-Byte der richtigen Antwort, von der Wahl der Variante beeinflusst. Sie kommen zu dem Schluss, dass Space-in-Answer der richtige Standard bleibt, da es dem entspricht, was das Modell im Training gesehen hat. Für alle, die Basismodelle mit likelihood-basierten Multiple-Choice-Tests vergleichen, lautet die Erkenntnis: Ein scheinbar belangloses Formatierungsdetail kann verändern, was der Benchmark tatsächlich misst.
