Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Goodfire findet kleine Neuronengemeinschaften hinter Modellverhalten

17. November 2026Von der KI Nachrichten RedaktionQuelle: Goodfire Research
Goodfire findet kleine Neuronengemeinschaften hinter Modellverhalten
Bild: Goodfire Research

Goodfire Research zufolge können kleine Gruppen von Neuronen für bestimmte Verhaltensweisen von Sprachmodellen notwendig und ausreichend sein, darunter grammatische Kongruenz, Kopieren und Arithmetik. Die Studie des Unternehmens stellt eine unüberwachte Methode vor, um solche Gruppen zu finden, ohne ihre Funktionen zuvor festlegen zu müssen.

Das Wichtigste in Kürze
  • Goodfire identifizierte Neuronengemeinschaften, die häufig aus weniger als zehn Neuronen bestehen.
  • Die Gruppen wurden mit Verhaltensweisen wie grammatischer Kongruenz, Kopieren und Arithmetik in Verbindung gebracht.
  • Die Methode nutzt Attribution, Neuronengraphen und Gemeinschaftserkennung.
  • In Tests wurde gemessen, ob die Gemeinschaften für Vorhersagen notwendig und ausreichend waren.
  • Der Ansatz wurde auf Llama-3.1-8B ausgeführt und mit Qwen 3.6 35B-A3B repliziert.

Kleine Gruppen können Modellverhalten erklären

Neuronen sind ein naheliegender Ausgangspunkt für die Untersuchung neuronaler Netze. Einzelne Neuronen können jedoch in scheinbar nicht miteinander verbundenen Kontexten aktiviert werden. Außerdem aktivieren Prompts oft viele Neuronen gleichzeitig, wodurch sich ihre jeweiligen Beiträge nur schwer voneinander trennen lassen.

Goodfires Forschung untersucht sogenannte Neuronengemeinschaften. Dabei handelt es sich um kleine Gruppen, die wiederholt zusammenarbeiten, um gängige Modellverhaltensweisen umzusetzen. Goodfire zufolge verändert das Entfernen dieser Gruppen die Vorhersagen eines Modells erheblich. Werden sie dagegen beibehalten, lassen sich die Vorhersagen weitgehend bewahren, selbst wenn fast alle anderen MLP-Neuronen in den betreffenden Schichten entfernt werden.

Tests mit zurückgehaltenen Prompts ergaben, dass diese Gemeinschaften häufig aus weniger als zehn Neuronen bestehen und sowohl notwendig als auch ausreichend sein können, um die Beiträge der betreffenden Schichten zu erklären. Zu den Beispielen der Studie gehören grammatische Kongruenz, Kopieren und Arithmetik.

Eine unüberwachte Methode zum Finden von Gemeinschaften

Die Forschenden wendeten ihre Methode auf Millionen von Prompts an und nutzten eine gradientenbasierte Attribution, um zu schätzen, welche Neuronen am stärksten zu jeder Vorhersage des nächsten Tokens beitrugen. Anschließend erstellten sie einen Graphen, in dem jeder Knoten ein Neuron repräsentierte. Verbindungen standen für Neuronen, die wiederholt zu denselben Vorhersagen beitrugen, korrigiert um die individuelle Häufigkeit jedes Neurons.

Mit einer Erkennung von Graphgemeinschaften wurden Gruppen von Neuronen identifiziert, die wiederholt zusammenarbeiteten. Anschließend testeten die Forschenden die ermittelten Gemeinschaften durch kausale Eingriffe an zurückgehaltenen Prompts.

Für den Notwendigkeitstest entfernten sie eine Gemeinschaft und maßen, ob sich die Vorhersagen des Modells erheblich veränderten. Für den Ausreichendheitstest behielten sie die Gemeinschaft bei und entfernten die anderen MLP-Neuronen in den betreffenden Schichten. Anschließend prüften sie, ob die ursprünglichen Vorhersagen weitgehend erhalten blieben.

Für die veröffentlichten Ergebnisse wurde der Algorithmus auf Llama-3.1-8B mit 10M Prompts aus FineWeb-Edu, der englischen Wikipedia und FineMath ausgeführt. Goodfire zufolge replizierte das Unternehmen die Methode später mit Qwen 3.6 35B-A3B.

Eine mittlere Ebene für die Interpretierbarkeitsforschung

Goodfire argumentiert, dass Neuronengemeinschaften eine Abstraktionsebene zwischen einzelnen Neuronen und übergeordneten Berechnungen bilden könnten. Die Ergebnisse ergänzen die Hinweise darauf, dass neuronale Netze interpretierbare Strukturen enthalten. Diese Strukturen lassen sich möglicherweise leichter erkennen, wenn Neuronen in wiederkehrenden Gruppen untersucht werden.

Die Forschung befasst sich außerdem mit einer langjährigen Herausforderung durch verteilte Repräsentationen. Dabei können sich Merkmale über mehrere Neuronen hinweg überschneiden und einzelnen Neuronen mehrere Rollen geben. Goodfire verweist auf frühere Arbeiten zu spärlichen Neuronenschaltkreisen, Transcoder-Merkmalen und der Ausdünnung von Modellen als Beleg dafür, dass sich manche Konzepte und Berechnungen mit überraschend wenigen Neuronen erfassen lassen.

Da der Entdeckungsprozess unüberwacht abläuft, kann das Unternehmen zufolge auch im großen Maßstab eingesetzt werden, ohne zuvor festzulegen, nach welchen Verhaltensweisen gesucht werden soll. Das könnte Forschenden konkrete Ausgangspunkte geben, um Neuronenfunktionen zu untersuchen und Erklärungen dafür zu prüfen, wie Sprachmodelle ihre Ausgaben erzeugen. Die Arbeit liefert für sich genommen noch keine vollständige Erklärung neuronaler Netze. Sie bietet jedoch eine Möglichkeit, von einzelnen Befunden zu umfassenderen Erklärungen der Modellberechnung überzugehen.

Ähnliche Meldungen

MIT-Methode hilft KI-Textdetektoren, getarnte Texte zu erkennen
Forschung18. November 2026, 06:00

MIT-Methode hilft KI-Textdetektoren, getarnte Texte zu erkennen

Forschende vom MIT und der Cornell University haben eine Trainingsmethode entwickelt, mit der sich KI-Textdetektoren an veränderte Schreibmuster und getarnte, von KI…

MIT-Forscher entwickelt KI-Systeme, die sich selbst erklären können
Forschung17. November 2026, 06:00

MIT-Forscher entwickelt KI-Systeme, die sich selbst erklären können

Der MIT-Associate-Professor Jacob Andreas entwickelt Methoden, mit denen Modelle künstlicher Intelligenz erklären könnten, was sie gelernt haben und wie sie in einer für…

Apple-Papier definiert theoretische Grenzen für die Ausrichtung von Sprachmodellen
Forschung12. November 2026

Apple-Papier definiert theoretische Grenzen für die Ausrichtung von Sprachmodellen

Apple-Forscher haben ein NeurIPS-Papier veröffentlicht, das die maximale Belohnungssteigerung von Sprachmodellen bei einem festen KL-Divergenz-Budget definiert. Die…