Apple-Paper schlägt gewichtetes State Souping für KI mit langen Kontexten vor
Ein auf Apples Website zur Machine-Learning-Forschung veröffentlichtes Paper stellt gewichtetes State Souping vor. Die Methode soll verbessern, wie Zustandsraummodelle Informationen aus langen, überfüllten Kontexten abrufen. Dafür lernt sie abfrageabhängige Gewichtungen, um zwischengespeicherte Repräsentationen von Dokumenten, Tools und Speichereinträgen zu kombinieren.
- Gewichtetes State Souping lernt abfrageabhängige Gewichtungen für zwischengespeicherte Zustände.
- Die Methode zielt auf lange und überfüllte Kontexte in Zustandsraummodellen.
- Zu den genannten Anwendungen gehören die Beantwortung von Dokumentfragen, der Informationsabruf und die Tool-Nutzung.
- Eine sparsame Variante bietet unabhängig von der Kontextlänge nahezu konstante Kodierungskosten.
- Das Paper wurde für den PALM Workshop auf der NeurIPS 2026 angenommen.
Eine selektive Methode zum Kombinieren zwischengespeicherter Kontexte
Zustandsraummodelle (State Space Models, SSMs) verbinden laut dem Paper schnelle Inferenz und eine feste Zustandsgröße mit einer konkurrenzfähigen Leistung bei der Sprachmodellierung. State Souping ermöglichte es zuvor, dass ein SSM separate Token-Blöcke unabhängig voneinander kodiert, etwa Dokumente, Tool-Definitionen oder Speichereinträge.
Die daraus entstehenden Zustandskodierungen können zwischengespeichert und für spätere Abfragen zu einem Kontext kombiniert werden. Laut dem Paper verschlechtern sich jedoch sowohl herkömmliche SSMs als auch State Souping, wenn Kontexte lang und überfüllt werden. Das schränkt ihren Einsatz in Bereichen mit langen Zeithorizonten ein.
Gewichtetes State Souping soll dieses Problem lösen, indem es Gewichtungen lernt, die von der jeweiligen Abfrage abhängen. Diese Gewichtungen bestimmen, wie zwischengespeicherte Zustände zusammengesetzt werden. Dadurch kann das Modell verschiedenen Teilen des gespeicherten Kontexts eine unterschiedliche Bedeutung geben.
Verbesserungen beim Abruf und bei der Tool-Nutzung
Die Autoren berichten, dass Modelle mit dieser Methode bei langen Kontexten in mehreren Aufgaben besser abschneiden. Dazu gehören die Beantwortung von Dokumentfragen mit einem und mehreren Schlussfolgerungsschritten, der Abruf von Informationen aus einem Heuhaufen, die Verfolgung variabler Werte und die Tool-Nutzung.
Die Methode lässt sich auch zu einer sparsamen Variante weiterentwickeln. Laut Apples Paper bietet diese Version unabhängig von der Kontextlänge nahezu konstante Kodierungskosten und behält dabei die Leistung bei oder verbessert sie in manchen Fällen sogar.
Das Paper enthält außerdem theoretische Argumente, die veranschaulichen sollen, warum State Souping funktioniert und wann die Methode scheitern kann. Es erörtert die Vorteile, dem Ansatz eine abfrageabhängige Gewichtung hinzuzufügen.
Bedeutung für agentische Anwendungen
Gewichtetes State Souping kombiniert laut dem Paper wiederverwendbare Kontextrepräsentationen mit selektivem Abruf. Die Autoren stellen es als effizienten Ansatz für die Sprachmodellierung über große Sammlungen von Dokumenten, Tools und anderen strukturierten Kontexten dar.
Dieser Fokus spiegelt die in den Beispielen des Papers verwendeten Informationstypen wider, darunter zwischengespeicherte Tool-Definitionen und Speichereinträge. Die Arbeit wurde für den Workshop on Personalized, Aligned, Long-term Memory for AI Systems auf der NeurIPS 2026 angenommen.
Das Paper trägt den Titel Weighted State Souping for Efficient Long-Context Retrieval. Seine Autoren sind William L. Tong, Aryo Lotfi, Emmanuel Abbe, Josh Susskind, Cengiz Pehlevan und Eran Malach. Im Paper wird Tong der Harvard University zugeordnet. Außerdem wird darauf hingewiesen, dass die Arbeit während seiner Zeit bei Apple entstand.
