Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Apple-Studie: Sprachmodell-Agenten können lernen, wann sie ihren eigenen Kontext verdichten sollten

12. Oktober 2026Von der KI Nachrichten RedaktionQuelle: Apple
Apple-Studie: Sprachmodell-Agenten können lernen, wann sie ihren eigenen Kontext verdichten sollten
Bild: Apple

Ein neues Paper auf der Machine-Learning-Research-Seite von Apple stellt SELFCOMPACT vor, ein Gerüst, mit dem ein Sprachmodell selbst entscheidet, wann und wie es seinen angesammelten Kontext verdichtet. Laut den Autoren erreicht oder übertrifft es die Zusammenfassung in festen Intervallen bei einem Bruchteil der Token-Kosten, und das ohne jedes Fine-Tuning.

Das Wichtigste in Kürze
  • SELFCOMPACT lässt ein Sprachmodell selbst entscheiden, wann und wie es seinen Kontext verdichtet.
  • Es kombiniert ein Verdichtungs-Tool mit einer schlanken Rubrik dazu, wann ausgelöst und wann unterdrückt wird, ganz ohne Fine-Tuning.
  • Getestet wurde auf sechs Benchmarks und mit sieben Modellen in Wettbewerbsmathematik und agentischer Suche.
  • Gegenüber einer Baseline ohne Zusammenfassung bis zu 18,1 Punkte besser bei Mathematik und 5 bis 9 Punkte bei agentischer Suche, bei 30 bis 70 % niedrigeren Kosten pro Frage.
  • Das Paper wird unter NeurIPS geführt, die meisten Autoren gehören zur Johns Hopkins University.

Das Problem langer Agenten-Verläufe

Das Paper mit dem Titel „Self-Compacting Language Model Agents“, das unter der Konferenz NeurIPS geführt wird, geht von einem bekannten Problem bei KI-Agenten aus. Lange Verläufe aus Gedankenketten und Tool-Aufrufen häufen veraltete Inhalte an. Laut den Autoren verankern diese Inhalte spätere Generierungen und sprengen schließlich das Kontextfenster.

Bestehende Scaffolds begegnen dem Problem mit Verdichtung in festen Intervallen, die beim Erreichen eines Token-Schwellenwerts ausgelöst wird. Solche Auslöser ignorieren nach Ansicht der Autoren die Struktur des Verlaufs. Dadurch besteht das Risiko, Teilergebnisse mitten in einer Herleitung oder einer Suche zu verwerfen.

So funktioniert SELFCOMPACT

SELFCOMPACT überlässt die Entscheidung über den Zeitpunkt dem Modell. Es kombiniert zwei Elemente, die zur Inferenzzeit arbeiten:

  • Ein Verdichtungs-Tool, das das Modell aufrufen kann, um den angesammelten Kontext zusammenzufassen.
  • Ein schlankes Regelwerk (Rubrik), das festlegt, wann ausgelöst werden soll (eine Teilaufgabe ist gelöst oder der Verlauf nähert sich dem Ergebnis) und wann nicht (mitten in einer Herleitung oder wenn das Modell feststeckt).

Beide Teile sind laut den Autoren nötig. Das Tool allein wird von Open-Weight-Modellen ungleichmäßig genutzt: Sie rufen es oft zu ungünstigen Zeitpunkten oder gar nicht auf. Die Rubrik allein kann nicht handeln. Zusammen ergeben sie laut Paper eine wirksame adaptive Verdichtung „ohne Fine-Tuning oder externe Aufsicht“.

Die berichteten Ergebnisse

Das Team berichtet empirische Ergebnisse zu sechs Benchmarks aus den Bereichen Wettbewerbsmathematik und agentische Suche sowie zu sieben Modellen. Laut Paper erreicht oder übertrifft SELFCOMPACT die Zusammenfassung in festen Intervallen bei einem Bruchteil der Token-Kosten.

Im Vergleich zu einer Baseline ohne Zusammenfassung berichten die Autoren Verbesserungen von bis zu 18,1 Punkten bei Mathematik und 5 bis 9 Punkten bei agentischer Suche. Die Kosten pro Frage liegen laut Paper um 30 bis 70 % niedriger.

Die Autoren beschreiben eine „metakognitive Lücke“: Modelle ohne Anleitung können nicht zuverlässig erkennen, wann ihr eigener Kontext verfällt. Eine schlanke Rubrik schließt diese Lücke nach ihren Worten und macht die Frage, wann verdichtet werden soll, zu einer Fähigkeit, die Scaffolds ohne Training liefern können.

Was das bedeutet

Für Teams, die Agenten auf Open-Weight-Modellen bauen, zeigt das Paper einen Weg, lang laufende Aufgaben ohne zusätzliches Training zu steuern. Nach den berichteten Ergebnissen könnte der Ansatz die Token-Ausgaben senken und dabei die Genauigkeit bei Mathematik- und Suchaufgaben halten oder verbessern. Die Befunde stammen aus den eigenen Experimenten der Autoren mit den genannten Benchmarks und Modellen. Ob die Methode in einem Apple-Produkt zum Einsatz kommt, geht aus der Quelle nicht hervor.

Die meisten Autoren sind laut dem Eintrag zum Paper mit der Johns Hopkins University verbunden.

Ähnliche Meldungen

Apple-Papier definiert theoretische Grenzen für die Ausrichtung von Sprachmodellen
Forschung12. November 2026

Apple-Papier definiert theoretische Grenzen für die Ausrichtung von Sprachmodellen

Apple-Forscher haben ein NeurIPS-Papier veröffentlicht, das die maximale Belohnungssteigerung von Sprachmodellen bei einem festen KL-Divergenz-Budget definiert. Die…

Apple-Studie untersucht, warum Gated State Space Models beim In-Context-Lernen Schwierigkeiten haben
Forschung10. November 2026

Apple-Studie untersucht, warum Gated State Space Models beim In-Context-Lernen Schwierigkeiten haben

Eine von Apple veröffentlichte Studie untersucht, wie sich Gating auf State Space Models auswirkt. Demnach kann es die Modelle zur Speicherung von Wissen in den…

Apple-Studie stellt infrage, ob LLM-Richter menschliche Schreibpräferenzen abbilden
Forschung10. November 2026

Apple-Studie stellt infrage, ob LLM-Richter menschliche Schreibpräferenzen abbilden

Apple-Forscher haben untersucht, wie zuverlässig Large Language Models beurteilen können, ob generierte Texte dem bevorzugten Stil eines Nutzers entsprechen. Die Studie…