Goodfire veröffentlicht erste Sparse Autoencoders für DeepSeeks 671B-Modell R1

Zwei SAEs für ein sehr großes Modell

Laut Goodfire umfasst die Veröffentlichung zwei SAEs für R1. Der erste wurde auf den Aktivierungen von R1 anhand eines eigens erstellten Reasoning-Datensatzes trainiert, den das Unternehmen ebenfalls als Open Source bereitstellt. Der zweite nutzt OpenR1-Math, einen großen Datensatz für mathematisches Schlussfolgern. Mit diesen Datensätzen, so Goodfire, lassen sich die Features finden, die R1 zur Beantwortung anspruchsvoller Aufgaben verwendet.

Das Unternehmen bezeichnet die SAEs als die ersten öffentlichen Interpreter-Modelle, die auf einem echten Reasoning-Modell und überhaupt auf einem Modell dieser Größenordnung trainiert wurden. Das nicht destillierte 671B-Modell zu betreiben sei eine technische Herausforderung. Das Training stützte sich demnach auf die eigene Inferenz-Engine und die Trainingsinfrastruktur für Interpreter-Modelle, die nach Angaben von Goodfire Interpretierbarkeit im Maßstab von einer halben Billion Parametern ermöglicht.

Da R1 für die meisten unabhängigen Forschenden schwer zu betreiben ist, hat Goodfire zusätzlich SQL-Datenbanken hochgeladen, die für jedes Feature die am stärksten aktivierenden Beispiele enthalten. Eine Anleitung zur Nutzung findet sich im GitHub-Projekt. Das Team gibt an, dass seine SAEs viele Features gelernt haben, die zentrale Verhaltensweisen von Reasoning-Modellen abbilden, etwa Backtracking. Es veröffentlichte kuratierte Beispiele aus dem allgemeinen Reasoning-SAE sowie eine interaktive UMAP-Feature-Map, die mit DataMapPlot erstellt wurde.

Zwei Überraschungen beim Steering von R1

Ein Großteil der frühen Arbeit von Goodfire drehte sich darum, R1 zu steuern, indem die Stärke bestimmter Features verändert wird. Warum das Modell so reagiert, hat das Unternehmen nach eigenen Angaben noch nicht systematisch untersucht. Es hebt aber zwei Verhaltensweisen hervor, die es bei Modellen ohne Reasoning bislang nicht beobachtet hat.

Das Steering muss später ansetzen. Üblicherweise werden Modelle ab dem ersten Token der Antwort gesteuert. Goodfire berichtet, dass dies am Anfang von R1s Chain of Thought scheitert. Wirksames Steering funktionierte erst, nachdem das Modell mit etwas wie "Okay, so the user has asked a question about…" begonnen hatte. Das Team beobachtete zudem Attention Sinks, also Tokens mit deutlich überdurchschnittlicher Aktivierung, gegen Ende dieses Präfixes statt ganz am Anfang der Antwort, wie es sonst üblich ist. Goodfires Hypothese: Solche Formulierungen waren in den Reasoning-Traces aus R1s Training so häufig, dass das Modell sie als Teil des Prompts behandelt. Mehr als 95 Prozent der englischen Reasoning-Traces von R1 beginnen demnach mit "Okay,".

Übersteuern kehrt das Verhalten um. Bei einem typischen Modell führt eine immer stärkere Anhebung eines Features dazu, dass sich die Ausgaben auf dieses Konzept fixieren, bis sie unzusammenhängend werden. Bei einigen Features in R1 beobachtete Goodfire, dass Übersteuern paradoxerweise dazu führt, dass das Modell zu seinem ursprünglichen Verhalten zurückkehrt. Die Ausgaben werden zwar unzusammenhängend, wenn das Feature noch weiter verstärkt wird, aber erst nachdem das gesteuerte Verhalten verschwunden ist. Beispiele im Beitrag sind der Austausch eines Operators in einer Mathematikaufgabe und eine verkürzte Denkzeit des Modells.

Mögliche Erklärung und Einschränkungen

Goodfires Arbeitshypothese lautet, dass R1 implizit einen Zustand der Verwirrung oder Inkohärenz erkennt, wenn seine Aktivierungen zu stark gestört werden, und dann innehält und gegensteuert. Das Unternehmen vermutet, dass das Training von Reasoning-Modellen ein stärkeres implizites Bewusstsein für den eigenen inneren Zustand begünstigen könnte, und verweist darauf, dass sie häufig einen Schritt zurückgehen, wenn ein Gedankengang nicht funktioniert.

Sollte dies eine allgemeine Eigenschaft von Reasoning-Modellen sein, könnten Versuche, ihr Verhalten zu verändern, etwa um unehrliche Antworten zu unterdrücken, laut Goodfire ausgefeiltere Techniken erfordern, da Modelle Wege finden könnten, Eingriffe zu umgehen. Das Unternehmen betont, dass weitere Arbeit nötig und die Ergebnisse vorläufig seien.

Zudem räumt es ein, nicht davon auszugehen, dass SAEs das übergeordnete Problem der mechanistischen Interpretierbarkeit lösen, und verweist auf eine Reihe bekannter Einschränkungen. Dennoch nennt es sie einen zentralen Bestandteil des heutigen Werkzeugkastens.

Warum das wichtig ist

Goodfire argumentiert, dass es entscheidend sei, die inneren Mechanismen von Reasoning-Modellen zu verstehen, wenn diese zur Grundlage fortschrittlicher KI-Systeme werden und möglicherweise zunehmend agentisch handeln. Als Vorteile nennt das Unternehmen ein besseres Verständnis von Fähigkeiten und Grenzen, die Überwachung und Fehlersuche bei unerwartetem Verhalten, gezieltere Sicherheitsmaßnahmen sowie mehr Transparenz und Vertrauen für Nutzerinnen und Nutzer.

Für die Forschung liegt der praktische Nutzen im Zugang: Offene SAEs, ein Reasoning-Datensatz und vorberechnete Aktivierungsbeispiele erlauben es Teams, R1 zu untersuchen, ohne das vollständige Modell betreiben zu müssen. Goodfire kündigt weitere Arbeiten zu Reasoning-Modellen an und ist gespannt, was andere mit den Werkzeugen entdecken.