Aleph Alpha: Bits-per-Byte-Metrik benachteiligt kurze Antworten, PriorBPB soll das beheben

Warum die Bewertung des Pre-Trainings wichtig ist

Bevor ein großes Sprachmodell chatten oder Anweisungen befolgen kann, wird es vortrainiert: Es lernt, über Billionen von Wörtern hinweg das jeweils nächste Textstück vorherzusagen. Aleph Alpha zufolge kann diese Phase den größten Teil des Rechenbudgets eines Modellentwicklers ausmachen. Das Pre-Training des jüngsten Modells Kolibri habe etwa 392.000 GPU-Stunden auf 768 NVIDIA-B200-GPUs gedauert, grob eine Größenordnung mehr als der Rechenaufwand des abschließenden Reinforcement-Learning-Laufs, so das Unternehmen.

Wegen dieser Kosten laufen zunächst viele kleinere Experimente, etwa um zu entscheiden, mit welchen Daten trainiert oder welche Architektur gewählt wird. Jedes Experiment braucht einen Wert, der zeigt, ob eine Änderung geholfen hat. Basismodelle können in der Regel kein Gespräch führen und keine mehrstufigen Aufgaben lösen, denn diese Fähigkeiten entstehen vor allem im Post-Training. Die Accuracy bei solchen Aufgaben kann daher flach oder verrauscht sein und hängt stark vom Format des Prompts oder der Antwort ab. Ein verzerrter Wert, so der Beitrag, kann ein Team dazu bringen, das falsche Rezept zu wählen.

Wie BPB kurze Antworten benachteiligt

BPB gibt dem Modell einen Prompt vor und bewertet es Token für Token anhand einer festen Referenzantwort (Gold-Antwort). Die Surprisal in Bit wird über die Antwort summiert und durch deren Länge in UTF-8-Bytes geteilt, was die Werte über Modelle mit unterschiedlichen Tokenizern hinweg vergleichbar hält. Niedriger ist besser.

Der Autor, Tom Burns, zeigt, dass diese Division einen Längeneffekt erzeugt. Bei der Frage „What is the capital of France?“ erreicht Qwen3-4B 1,85 für „It is Paris.“, 1,10 für „It is the city of Paris.“ und 0,77 für „It is Paris, the capital of France.“ OLMo-3-7B kommt bei denselben Varianten auf 1,38, 1,34 und 1,22. Die Bedeutung ist identisch, doch längere Antworten schneiden besser ab.

Der Beitrag nennt dafür eine Ursache. Die längste Qwen3-4B-Antwort kostet nur etwa 15 % mehr Bits als „It is Paris.“ (27,7 gegenüber 24 Bit), ist aber fast dreimal so lang (36 gegenüber 13 Bytes). Bei der Aufgabe MMLU full text, bewertet mit Qwen3-4B, schneidet die Gruppe mit den kürzesten Antworten (im Schnitt 6 Bytes) etwa 11-mal schlechter ab als die Gruppe mit den längsten Antworten (im Schnitt 96 Bytes).

Die Forschenden modellieren die Bits jedes Items als feste Grundlast plus eine Rate pro Byte. Das Corpus-BPB entspricht dann der Grundlast geteilt durch die mittlere Länge der Gold-Antworten der Aufgabe, plus der Rate. Die fixen Kosten, die laut Beitrag vor allem von der Surprisal des ersten Antwort-Tokens bestimmt werden, sinken mit wachsender Antwortlänge. Über die 19 an mehreren Modellen getesteten Aufgaben hinweg korreliert dieser Term stark mit der mittleren Länge der Gold-Antwort, die Rate pro Byte dagegen kaum.

Die Autoren haben auch geprüft, ob Items mit langen Antworten schlicht leichter sind. Innerhalb einer einzelnen Aufgabe schnitt das kürzeste Fünftel der Items bei jeder getesteten Aufgabe schlechter ab, typischerweise etwa doppelt so schlecht (medianes Verhältnis von oberem zu unterem Quintil von rund 0,43). Hinzu komme, dass die Aggregation per Mittelwert der Verhältnisse eine weitere aufgabenabhängige Aufblähung bewirke, bei Qwen3-Modellen genug, um zwischen den Modellen mit 0,6B, 1,7B und 4B einen scheinbaren, aber irreführenden inversen Skalierungstrend zu erzeugen.

Was PriorBPB ändert

Für jedes Modell und jede Aufgabe schätzt PriorBPB aus der Surprisal pro Token eine marginale Kostenkurve pro Byte und mittelt diese Kurve anschließend unter einem Längen-Prior, der für alle Aufgaben gleich ist. Wird die Längenverteilung der jeweiligen Aufgabe als Prior verwendet, entspricht das Ergebnis dem Corpus-BPB.

Über mehr als 60 Checkpoints aus fünf Modellfamilien hinweg ist PriorBPB laut Aleph Alpha längenneutraler als die gängigen BPB-Metriken. Die Abhängigkeit von der Länge der Gold-Antwort verschwinde weitgehend, sowohl beim Ordnen der Aufgaben untereinander als auch beim Vergleich kurzer und langer Antworten innerhalb einer Aufgabe. Zudem berichtet das Unternehmen, dass PriorBPB enger mit der Accuracy korreliert als die gängigen BPB-Metriken, bei Basis-Checkpoints etwas, bei Instruct-Checkpoints deutlich.

Den affinen Zusammenhang zwischen der gesamten Surprisal und der Antwortlänge hat dem Beitrag zufolge bereits Oostermeijer (2026) dokumentiert. PriorBPB ist im Open-Source-Evaluierungspaket eval-framework von Aleph Alpha enthalten.

Was das für Modellentwickler bedeutet

Dem Beitrag zufolge spiegeln Aufgabenvergleiche mit dem Standard-BPB weitgehend wider, wie lang die Gold-Antworten sind. Ein niedriger Wert bei einer Aufgabe gegenüber einer anderen sagt daher womöglich wenig über die relative Schwierigkeit aus. Der Beitrag nennt ein Beispiel: Qwen3-0.6B erzielt bei MMLU full text einen um eine Größenordnung besseren Wert als bei SQuAD2, was eher die Verteilungen der Antwortlängen der Aufgaben widerspiegeln könnte als deren Schwierigkeit.

Die Autoren weisen außerdem darauf hin, dass der mit der Antwortlänge skalierende Kostenanteil von Aufgabe zu Aufgabe variiert, sodass keine einfache Normalisierung für alle passt. Für Teams, die anhand kleiner Experimente Datenmischungen oder Architekturen auswählen, bietet PriorBPB eine Metrik, die weniger an die Antwortlänge gekoppelt ist und der Accuracy enger folgt.