Apple-Studie untersucht, warum Gated State Space Models beim In-Context-Lernen Schwierigkeiten haben
Eine von Apple veröffentlichte Studie untersucht, wie sich Gating auf State Space Models auswirkt. Demnach kann es die Modelle zur Speicherung von Wissen in den Gewichten lenken und korrektes In-Context-Lernen verzögern oder verhindern. Gleichzeitig kann Gating die Verallgemeinerung auf längere Sequenzen verbessern.
- Apple hat eine NeurIPS-Studie zu Gating in State Space Models veröffentlicht.
- Die Studie zeigt, dass Gating die Speicherung in den Gewichten gegenüber dem In-Context-Lernen bevorzugen kann.
- Gating kann korrektes In-Context-Lernen verzögern oder verhindern, selbst wenn keine architektonischen Speichergrenzen bestehen.
- Der Mechanismus kann außerdem die Verallgemeinerung auf lange Sequenzen verbessern.
- Die Ergebnisse sollen zur Weiterentwicklung von Modellen mit linearer Laufzeit beitragen.
Gating beeinflusst, wie SSMs lernen
Die Studie mit dem Titel On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models untersucht, warum State Space Models oder SSMs bei Aufgaben mit In-Context-Lernen und präzisem Abruf weiterhin hinter Transformers zurückliegen. Apple veröffentlichte die Forschung im November 2026 in den Forschungsbereichen Methods and Algorithms sowie Speech and Natural Language Processing. Sie wurde auf der NeurIPS vorgestellt.
SSMs werden laut der Studie zur Sequenzmodellierung eingesetzt und bieten einen konstanten Speicherbedarf sowie linearen Rechenaufwand. Diese Eigenschaften machen sie zu einer überzeugenden Alternative zu Transformers. Ihre schwächere Leistung bei bestimmten Sprachaufgaben hat jedoch ihre Verbreitung für die Sprachmodellierung im großen Maßstab gebremst.
Die Autoren konzentrieren sich auf Gating, einen Mechanismus, der häufig in modernen rekurrenten Netzwerken eingesetzt wird. Auf Grundlage theoretischer Überlegungen und von Experimenten berichten sie, dass Gating SSMs zunächst dazu bringt, eine Lösung zur Speicherung in den Gewichten zu erlernen. Dadurch kann sich die Konvergenz zu einer korrekten Lösung für das In-Context-Lernen verzögern oder in manchen Fällen ganz ausbleiben.
Das Problem liegt nicht immer in Architektur oder Speicher
Die Forscher erklären, dass dieses Verhalten auch dann auftritt, wenn die Modellarchitektur und die Speicherkapazität des Modells keine grundsätzliche Hürde für die Lösung der Aufgabe darstellen. Damit richtet sich der Blick weg von der grundlegenden Kapazität von SSMs und hin zu der Frage, wie Gating ihre Trainingsdynamik beeinflusst.
In der Praxis geht es um die Art und Weise, wie ein Modell Informationen nutzt. Eine Lösung durch Speicherung legt eine Antwort während des Trainings in den Gewichten des Modells ab, während eine Lösung durch In-Context-Lernen die innerhalb der Sequenz bereitgestellten Informationen verwendet. Die Ergebnisse der Studie legen nahe, dass ein Gated SSM zunächst den ersten Weg bevorzugen kann, bevor es den zweiten erreicht, selbst wenn dieser grundsätzlich möglich ist.
Die Apple-Forscher beschreiben die Ergebnisse als Erklärung für die Erfolge und Misserfolge von SSMs in Szenarien, die Abruf und Lernen aus dem Kontext erfordern. Zu den Autoren gehören William L. Tong, Aryo Lotfi, Emmanuel Abbe, Kostas Vaggelakos, Vishnu Banna, Etai Littwin, Josh Susskind, Cengiz Pehlevan und Eran Malach. In der Studie wird für Tong und Pehlevan die Harvard University als Institution angegeben. Außerdem wird darauf hingewiesen, dass Tong die Arbeit während seiner Zeit bei Apple abgeschlossen hat.
Ein Zielkonflikt bei der Verallgemeinerung auf lange Sequenzen
Gating wird nicht ausschließlich als schädlich dargestellt. Die Studie kommt zu dem Ergebnis, dass es häufig die Verallgemeinerung auf lange Sequenzen verbessert. Daraus ergibt sich ein Zielkonflikt: Derselbe Mechanismus, der es einem SSM erschweren kann, zu einer Lösung für das In-Context-Lernen zu konvergieren, kann ihm auch dabei helfen, längere Sequenzen zu verarbeiten, die über die im Training gesehenen Sequenzen hinausgehen.
Die Autoren erklären, ihre Ergebnisse verdeutlichten die Rolle von Gating sowohl beim Training als auch bei der Verallgemeinerung und schafften damit eine Grundlage für das Verständnis und die Verbesserung von Modellen mit linearer Laufzeit. Für Forscher, die Alternativen zu Transformers entwickeln, weist die Arbeit auf Gating als Design- und Optimierungsfaktor hin, der Abruf, In-Context-Lernen und das Verhalten bei langen Sequenzen beeinflussen kann. Die Studie kündigt kein Produkt und keine Modellveröffentlichung an, liefert aber theoretische und experimentelle Ergebnisse, die künftige Arbeiten an SSMs anleiten könnten.
