Anthropics J++ Lens liefert präzisere Einblicke in die internen Repräsentationen von KI-Modellen
Das Interpretability-Team von Anthropic hat die J++ Lens beschrieben, eine verbesserte Version seiner Jacobian Lens, mit der sich auslesen lässt, welche Konzepte ein Modell in Zwischenschichten repräsentiert. Laut dem Team macht sie latente Zwischenvariablen, die das Modell für sein Reasoning nutzt, zuverlässiger sichtbar als die frühere J-Lens oder die R-Lens.
- Das Interpretability-Team von Anthropic hat die J++ Lens vorgestellt, eine verbesserte Version der Jacobian Lens (J-Lens).
- Die J++ Lens clustert die Aktivierungen jeder Schicht, passt für jeden Cluster eine eigene Jacobi-Matrix an und kombiniert diese mit gelernten Gewichten.
- Zusätzlich übernimmt sie die Verbesserung der R-Lens (Layerwise Relevance Propagation) und filtert irreführende Auslese-Tokens nachträglich heraus.
- Das Ergebnis bleibt eine einzelne lineare Abbildung pro Schicht und kann daher die J-Lens direkt ersetzen.
- Code, Lenses und eine interaktive Demo auf Neuronpedia wurden veröffentlicht.
Was die J++ Lens verändert
Die Arbeit erscheint in der Oktober-Ausgabe 2026 von Circuits Updates, einer Reihe auf der Website Transformer Circuits, in der das Interpretability-Team von Anthropic entstehende Ideen teilt. Das Team bittet die Leserinnen und Leser, die Ergebnisse so zu betrachten, als stelle ein Kollege bei einem Lab-Meeting vorläufige Experimente vor, und nicht wie ein ausgereiftes Paper.
Die J++ Lens stammt aus einem Projekt des Anthropic Fellows Program unter der Leitung von Kola Ayonrinde, mit Jack Lindsey als Co-Autor. Sie baut auf der Jacobian Lens (J-Lens) auf, die Anthropic in einem aktuellen Paper als Technik vorgestellt hat, um die Konzepte auszulesen, die ein Modell in seinen Zwischenschichten repräsentiert.
Verrauschte Gradienten in den Griff bekommen
Die J-Lens wird berechnet, indem Jacobi-Matrizen über eine große Zahl von Quell-Token-Positionen gemittelt werden, wobei jede Position gleich gewichtet wird. Dem Team zufolge liefern einige dieser Positionen sehr verrauschte Gradienten, die den Mittelwert verfälschen.
Die wichtigste Änderung der J++ Lens besteht darin, die Aktivierungen jeder Schicht zu clustern und für jeden Cluster eine eigene Jacobi-Matrix anzupassen. Diese clusterspezifischen Jacobi-Matrizen werden anschließend mit gelernten Gewichten kombiniert. In der Praxis, so das Team, dienen diese Gewichte vor allem dazu, jene Cluster auszusortieren, die schlechte Auslesungen liefern.
Die J++ Lens enthält außerdem zwei weitere Elemente:
- Die mit der R-Lens eingeführte Verbesserung, die beim Berechnen der Jacobi-Matrizen in den Rückwärtsdurchläufen Layerwise Relevance Propagation einsetzt.
- Eine nachträgliche Filterung irreführender Auslese-Tokens.
Direkter Ersatz und Veröffentlichung
Trotz der zusätzlichen Schritte ist das Ergebnis weiterhin eine einzelne lineare Abbildung pro Schicht. Damit lässt sich die J++ Lens laut dem Team direkt anstelle der J-Lens einsetzen.
In den Evaluierungen von Anthropic macht die J++ Lens latente Zwischenvariablen, die das Modell für sein Reasoning verwendet, zuverlässiger sichtbar als die J-Lens oder die R-Lens. Der vollständige Beitrag enthält weitere Details und Experimente.
Anthropic hat zudem seinen Code und die Lenses veröffentlicht, dazu eine interaktive Demo auf Neuronpedia. Für Forschende im Bereich Interpretierbarkeit bedeutet das: Sie können die Methode direkt ausprobieren und überall dort einsetzen, wo sie bislang die J-Lens verwenden. Die Quelle bezeichnet die Arbeit als vorläufig, und das Team erklärt, zu einigen der Themenstränge in diesen Updates in den kommenden Monaten weitere Veröffentlichungen zu erwarten.
Anthropic Interpretability (Transformer Circuits): Circuits Updates — October 2026


