Apple-Studie: Sprachmodell-Agenten können lernen, wann sie ihren eigenen Kontext verdichten sollten

Ein neues Paper auf der Machine-Learning-Research-Seite von Apple stellt SELFCOMPACT vor, ein Gerüst, mit dem ein Sprachmodell selbst entscheidet, wann und wie es seinen angesammelten Kontext verdichtet. Laut den Autoren erreicht oder übertrifft es die Zusammenfassung in festen Intervallen bei einem Bruchteil der Token-Kosten, und das ohne jedes Fine-Tuning.
- SELFCOMPACT lässt ein Sprachmodell selbst entscheiden, wann und wie es seinen Kontext verdichtet.
- Es kombiniert ein Verdichtungs-Tool mit einer schlanken Rubrik dazu, wann ausgelöst und wann unterdrückt wird, ganz ohne Fine-Tuning.
- Getestet wurde auf sechs Benchmarks und mit sieben Modellen in Wettbewerbsmathematik und agentischer Suche.
- Gegenüber einer Baseline ohne Zusammenfassung bis zu 18,1 Punkte besser bei Mathematik und 5 bis 9 Punkte bei agentischer Suche, bei 30 bis 70 % niedrigeren Kosten pro Frage.
- Das Paper wird unter NeurIPS geführt, die meisten Autoren gehören zur Johns Hopkins University.
Das Problem langer Agenten-Verläufe
Das Paper mit dem Titel „Self-Compacting Language Model Agents“, das unter der Konferenz NeurIPS geführt wird, geht von einem bekannten Problem bei KI-Agenten aus. Lange Verläufe aus Gedankenketten und Tool-Aufrufen häufen veraltete Inhalte an. Laut den Autoren verankern diese Inhalte spätere Generierungen und sprengen schließlich das Kontextfenster.
Bestehende Scaffolds begegnen dem Problem mit Verdichtung in festen Intervallen, die beim Erreichen eines Token-Schwellenwerts ausgelöst wird. Solche Auslöser ignorieren nach Ansicht der Autoren die Struktur des Verlaufs. Dadurch besteht das Risiko, Teilergebnisse mitten in einer Herleitung oder einer Suche zu verwerfen.
So funktioniert SELFCOMPACT
SELFCOMPACT überlässt die Entscheidung über den Zeitpunkt dem Modell. Es kombiniert zwei Elemente, die zur Inferenzzeit arbeiten:
- Ein Verdichtungs-Tool, das das Modell aufrufen kann, um den angesammelten Kontext zusammenzufassen.
- Ein schlankes Regelwerk (Rubrik), das festlegt, wann ausgelöst werden soll (eine Teilaufgabe ist gelöst oder der Verlauf nähert sich dem Ergebnis) und wann nicht (mitten in einer Herleitung oder wenn das Modell feststeckt).
Beide Teile sind laut den Autoren nötig. Das Tool allein wird von Open-Weight-Modellen ungleichmäßig genutzt: Sie rufen es oft zu ungünstigen Zeitpunkten oder gar nicht auf. Die Rubrik allein kann nicht handeln. Zusammen ergeben sie laut Paper eine wirksame adaptive Verdichtung „ohne Fine-Tuning oder externe Aufsicht“.
Die berichteten Ergebnisse
Das Team berichtet empirische Ergebnisse zu sechs Benchmarks aus den Bereichen Wettbewerbsmathematik und agentische Suche sowie zu sieben Modellen. Laut Paper erreicht oder übertrifft SELFCOMPACT die Zusammenfassung in festen Intervallen bei einem Bruchteil der Token-Kosten.
Im Vergleich zu einer Baseline ohne Zusammenfassung berichten die Autoren Verbesserungen von bis zu 18,1 Punkten bei Mathematik und 5 bis 9 Punkten bei agentischer Suche. Die Kosten pro Frage liegen laut Paper um 30 bis 70 % niedriger.
Die Autoren beschreiben eine „metakognitive Lücke“: Modelle ohne Anleitung können nicht zuverlässig erkennen, wann ihr eigener Kontext verfällt. Eine schlanke Rubrik schließt diese Lücke nach ihren Worten und macht die Frage, wann verdichtet werden soll, zu einer Fähigkeit, die Scaffolds ohne Training liefern können.
Was das bedeutet
Für Teams, die Agenten auf Open-Weight-Modellen bauen, zeigt das Paper einen Weg, lang laufende Aufgaben ohne zusätzliches Training zu steuern. Nach den berichteten Ergebnissen könnte der Ansatz die Token-Ausgaben senken und dabei die Genauigkeit bei Mathematik- und Suchaufgaben halten oder verbessern. Die Befunde stammen aus den eigenen Experimenten der Autoren mit den genannten Benchmarks und Modellen. Ob die Methode in einem Apple-Produkt zum Einsatz kommt, geht aus der Quelle nicht hervor.
Die meisten Autoren sind laut dem Eintrag zum Paper mit der Johns Hopkins University verbunden.
Apple: Self-Compacting Language Model Agents


