Goodfire: Einzelne Neuronen können erklären, wie LLMs rechnen

Warum sich Neuronen direkt untersuchen lassen

Neuronen sind verborgene Einheiten in den Multilayer-Perzeptron-Schichten eines Transformers. Sie gehörten zu den ersten Einheiten, die zur Interpretation neuronaler Netze eingesetzt wurden. Die Forschung zur Polysemantik, bei der ein Neuron scheinbar auf voneinander unabhängige Eingaben reagiert, ließ jedoch den Eindruck entstehen, dass sie sich nur schwer direkt untersuchen lassen.

Diese Sorge trug dazu bei, dass die Forschung sich erlernten Merkmalsräumen und überkompletten Merkmalswörterbüchern zuwandte. Goodfire argumentiert, dass dieser Ansatz der wissenschaftlichen Analyse einen Schritt vorschaltet, weil das Modell zunächst in eine andere Repräsentation überführt werden muss. Die Forschung des Unternehmens untersucht stattdessen die Schaltkreise, an denen einzelne Neuronen beteiligt sind. Dazu gehören sowohl Neuronen, die ihre Aktivierung auslösen, als auch solche, die ihre Ausgabe nutzen.

Drei Eigenschaften machen Neuronen untersuchbar

Goodfire berichtet von drei Ergebnissen. Erstens sind die untersuchten Neuronen bereits funktional sparsam. Das Entfernen der 92,2 % schwächsten Aktivierungen von Mixture-of-Experts-Neuronen bei jedem Vorwärtsdurchlauf hatte laut Unternehmen nur moderate Auswirkungen auf die Modellfähigkeiten. Dazu gehörte ein 2,9 % höherer Verlust des Sprachmodells.

Zweitens erfüllen die meisten Neuronen nur wenige Rechenfunktionen. Die Mehrheit verfügt entweder über einen einzigen Modus oder über einen einzelnen Modus, der kausal deutlich überwiegt. Wenn Neuronen mehrere kausale Modi haben, ist deren Zahl laut Goodfire gering, und die Methoden des Unternehmens können sie klar beschreiben.

Drittens können Forschungsagenten Neuronen in natürlicher Sprache beschreiben. Laut Goodfire konnte ein Bewertungsmodell anhand dieser Beschreibungen mit einer Genauigkeit von 95 % vorhersagen, ob ein Neuron in einer Textpassage im Vergleich zu zufälligem Text feuern würde. Die Beschreibungen simulierten außerdem das Verhalten von Token zu Token bei hohen Aktivierungen gut genug, um 73 % des durch die Entfernung verursachten Schadens wiederherzustellen. Als Maßstab diente dabei der maximal wiederherstellbare Schaden.

Was die Ergebnisse für die Interpretierbarkeit bedeuten

Die Forschung behauptet nicht, dass jedes Neuron ein einzelnes Konzept repräsentiert. Goodfire zufolge sind einige Neuronen tatsächlich polysemantisch, und manches Verhalten bleibt ungeklärt. Die Aussage des Unternehmens ist enger gefasst: Wichtige Aktivierungen haben tendenziell eine kleine Zahl von Rechenfunktionen, die sich durch prägnante Beschreibungen erfassen lassen.

Außerdem berichtet das Unternehmen, dass Neuronen den größten Teil ihres Einflusses auf nachgelagerte Ebenen bei starken Aktivierungen ausüben: am positiven Rand oberhalb des 97. Perzentils und am negativen Rand unterhalb des 3. Perzentils. Diese Ereignisse mit hoher Aktivierung sind der Studie zufolge sowohl für das Modell wichtiger als auch leichter zu beschreiben.

Falls sich das Ergebnis über das untersuchte Modell hinaus verallgemeinern lässt, könnten Forschende einzelne Neuronen direkt zur Interpretation von Sprachmodellen nutzen, statt sich ausschließlich auf erlernte Näherungen zu stützen. Für Nutzer ist die unmittelbare Bedeutung zwar indirekt. Präzisere Erklärungen auf Neuronenebene könnten jedoch dabei helfen, genauer zu untersuchen, wie Modelle ihre Ausgaben erzeugen und wie bestimmte Verhaltensweisen entstehen.