Ai2s StateBench zeigt: Frontier-Modelle scheitern bei der Zustandsverfolgung über lange Eingaben

Was StateBench misst

Die Zustandsverfolgung umfasst Aufgaben wie das Lesen von Code, in dem Variablen Werte zugewiesen und erneut zugewiesen werden, oder das Verfolgen einer Geschichte, in der Figuren sich bewegen und Gegenstände den Besitzer wechseln. Ai2 nennt als Beispiel einen Kriminalroman, in dem „John gab Mary das Messer“ unmittelbar vor einem Mord steht und sich dadurch der Zustand jeder Figur verändert hat. Anspruchsvollere Varianten erfordern das Verfolgen einer Kette von Veränderungen, bei der bereits ein übersehener Schritt die endgültige Antwort verfälschen kann.

Ai2 weist darauf hin, dass die theoretischen Grenzen von Transformern bei anspruchsvoller Zustandsverfolgung mit langen Abhängigkeitsketten gut dokumentiert sind. Das hat die Entwicklung rekurrenter und hybrider Architekturen wie Gated DeltaNet mit angestoßen, die einen fortlaufenden Speicher weiterführen. Bestehende Tests konzentrieren sich meist auf die schwierigsten Fälle. Deshalb hat Ai2 StateBench entwickelt, um Probleme mit unterschiedlicher Komplexität abzudecken und zu zeigen, welche Arten der Zustandsverfolgung die jeweiligen Architekturen bewältigen können.

Vier Schwierigkeitsstufen

Der Benchmark umfasst vier Stufen, die Ai2 anhand verschiedener Arten von Variablenzuweisungen erklärt:

• R-trivial: unveränderliche Zuweisung. Ein Wert ändert sich nie, daher muss das Modell nur ermitteln, welcher Wert ihm zuerst zugewiesen wurde.
• Aperiodisch: Neuzuweisung durch einen Wert. Das Modell findet den aktuellsten Wert, etwa bei der Einstellung eines Thermostats.
• Soluble: selbstreferenzielle Aktualisierungen wie x = x + 5, vergleichbar mit einem Spielstand, der fortlaufend summiert wird.
• General finite: Zuweisung durch Referenz, etwa x = y oder das Vertauschen von Variablen. Ai2 vergleicht dies mit einem Zauberer, der Becher vertauscht, um eine Kugel zu verstecken, sowie mit dem S₅-Problem, bei dem Vertauschungen zwischen fünf Objekten verfolgt werden.

Ai2 zufolge spiegeln die Stufen theoretisch begründete Unterschiede wider, die in der Krohn-Rhodes-Theorie, einem Teilgebiet der Algebra, verankert sind. Für einen fairen Vergleich der Stufen geht Ai2 von einer allgemeinen endlichen Sequenz aus und leitet daraus drei einfachere Versionen ab. Alle vier verwenden dieselbe Anzahl an Variablen und unterschiedlichen Werten, wobei die Zuweisungen an denselben Stellen in der Sequenz erfolgen. Nur die Art der Zuweisung ändert sich.

Ergebnisse für vortrainierte und Frontier-Modelle

Ai2 testete zunächst offene vortrainierte Modelle, darunter zwei Modelle mit 7 Milliarden Parametern: Olmo 3, einen Transformer, und Olmo Hybrid, das um Gated-DeltaNet-Schichten ergänzt wurde. Hinzu kamen kleinere Modelle mit 275 Millionen und 2,7 Milliarden Parametern. Alle wurden mit denselben Daten vortrainiert, und keines hatte im Training Kontexte mit mehr als 64.000 Tokens gesehen. Fast alle erzielten bei R-trivial-Aufgaben gute Ergebnisse, verloren bei aperiodischen Aufgaben mit zunehmender Eingabelänge an Genauigkeit und blieben bei allgemeinen endlichen Aufgaben auf Zufallsniveau.

Auch das Aufgabenformat spielte eine Rolle. Die Hybridmodelle mit 275 Millionen Parametern und Gated DeltaNet erzielten bei R-trivial-Aufgaben im RULER-Stil nahezu Spitzenwerte, lagen bei denselben Aufgaben im Format von Tabellenkalkulationsänderungen jedoch nahe am Zufallsniveau. Ai2 nennt dies als einen Grund dafür, dass StateBench dasselbe Problem in mehreren Formaten testet.

Ai2 testete außerdem vier Frontier-Modelle: Gemini 3.8 Flash, Claude Opus 5.5 sowie GPT-6 Sol und Luna. Sie sollten jede Sequenz von Zuweisungen lesen und den endgültigen Wert jeder Variablen ausgeben. Alle vier schnitten bei R-trivialen und aperiodischen Aufgaben gut ab. Bei lösbaren und allgemeinen endlichen Aufgaben sank die Genauigkeit mit zunehmender Länge stark und fiel bei den längsten allgemeinen endlichen Aufgaben auf 13 Prozent oder weniger. Ai2 sieht die Sensitivität als einen wahrscheinlichen Faktor: Auf den schwierigeren Stufen können deutlich mehr Schritte die Antwort beeinflussen, sodass weniger Spielraum besteht, eine Aktualisierung zu übersehen.

Direktes Training mit der Aufgabe

Um zu untersuchen, ob die Schwierigkeit auf die Architektur oder das Vortraining zurückgeht, trainierte Ai2 mehrere Modelle mit 275 Millionen Parametern von Grund auf mit StateBench: zwei Transformer-Varianten, zwei hybride Modelle und zwei Gated-DeltaNet-Varianten mit unterschiedlichen Einschränkungen bei der Speicheraktualisierung. Sie wurden mit Sequenzen von bis zu 256 Zuweisungen trainiert und mit Sequenzen von bis zu 64.000 Zuweisungen getestet, also mit dem 250-Fachen der maximalen Trainingslänge.

Gated-DeltaNet- und Hybridmodelle generalisierten bei R-trivialen, aperiodischen und lösbaren Aufgaben bis zu den längsten getesteten Sequenzen, also über Zehntausende von Zuweisungen, nahezu perfekt. Transformer lernten die einfacheren Stufen, verschlechterten sich jedoch bei längeren Sequenzen und lernten allgemeine endliche Aufgaben nie. Auf der schwierigsten Stufe blieb die Gated-DeltaNet-Variante mit der flexibleren Speicheraktualisierung bis etwa zum Zehnfachen der längsten im Training gesehenen Sequenzen nahezu perfekt.

Ai2 schlussfolgert, dass die Lücke bei Gated-DeltaNet- und Hybridmodellen auf das Training und nicht auf die Architektur hindeutet, da sie bei direktem Training Stufen bewältigten, an denen ihre vortrainierten Gegenstücke scheiterten. Transformer konnten die schwierigste Stufe selbst bei direktem Training nie lernen.

Offene Fragen und die Bedeutung der Ergebnisse

Einige Fragen sind noch offen. Ai2 zufolge zeigt der neue Beweis, dass Gated DeltaNet mit einer stärker eingeschränkten Speicheraktualisierung, also nichtnegativen Eigenwerten, alle aperiodischen Aufgaben und bestimmte periodische Aufgaben lösen kann. Dazu gehört etwa die Verfolgung, ob eine wiederholte Eingabe eine gerade oder ungerade Anzahl von Malen aufgetreten ist. Dies gilt unter der im Paper verwendeten Festkommaarithmetik mit Rundung. Die genaue Position in der Hierarchie ist ungeklärt. Dazu gehört auch die Frage, ob das Modell alle lösbaren Aufgaben bewältigen kann und wie sich numerische Präzision oder die Kombination mit Aufmerksamkeitsschichten auswirkt.

Für Forschende, die zwischen Architekturen wählen, bietet StateBench eine Möglichkeit zu sehen, welche Arten der Zustandsverfolgung ein Modell bewältigen kann, statt nur den schwierigsten Fall zu betrachten. Für Nutzer aktueller Frontier-Modelle legen die Ergebnisse nahe, dass Aufgaben mit langen Ketten voneinander abhängiger Aktualisierungen bei längeren Eingaben eine Schwachstelle bleiben. Ai2 verlinkt einen technischen Bericht sowie Daten und Code für den Benchmark.