Google Research gibt LLMs eine Schlafphase, damit sie Wissen behalten

Das Problem: statische Modelle und Vergessen

Google Research zufolge schneiden moderne LLMs dank Pre-Training und In-Context-Learning (ICL) gut ab, bleiben nach dem Einsatz aber weitgehend statisch. Sie arbeiten mit einem festen Stichtag für ihr Wissen und können nur schwer langfristige Fähigkeiten aufbauen oder sich an neue Informationen anpassen.

Das Modell mit neuen Daten zu aktualisieren, ist die naheliegende Lösung. Doch fortlaufende Parameter-Updates lösen oft katastrophales Vergessen aus: Beim Lernen neuer Aufgaben bricht die Leistung bei früheren Aufgaben stark ein. Wer sich ausschließlich auf ICL verlässt, stößt ebenfalls an eine Grenze: Das Wissen bleibt im Kontextfenster, und sobald die Sitzung endet, gehen die Kurzzeitinformationen verloren.

Der Blogbeitrag von Ali Behrouz und Vahab Mirrokni, veröffentlicht am 27. Oktober 2026, stellt das Schlaf-Framework als Weg vor, beide Grenzen zu umgehen. Es orientiert sich daran, wie das menschliche Gehirn Erinnerungen in Ruhephasen stabilisiert.

So funktionieren Wach- und Schlafphase

In dem Framework arbeitet ein Modell in zwei Zuständen. In der aktiven Phase (Wachphase) nimmt es Eingaben entgegen, verarbeitet sie und hält temporäre Informationen in schnellen Kurzzeitspeicher-Komponenten vor. In der Schlafphase verarbeitet es keine neuen Eingaben mehr und richtet seine Rechenleistung auf die Festigung von Erinnerungen und die Selbstverbesserung.

Die Forschenden betonen, dass Begriffe wie Schlafen und Träumen aus der Neurowissenschaft entlehnt sind. Laut dem Beitrag läuft das Framework vollständig innerhalb einer festen Modellarchitektur und von Menschen definierter Trainingsregeln. Im Schlaf schaltet das Modell vorab reservierte Mixture-of-Experts-Speicherblöcke (MoE) frei und aktualisiert seine Gewichte anhand selbst erzeugter Übungsbeispiele.

Der Schlafprozess besteht aus zwei Stufen:

• Gedächtniskonsolidierung: Das Modell erweitert seine Kapazität mithilfe von MoE und der Hope-Architektur und integriert neu freigeschaltete Low-Rank-Experten in stabile Speicherblöcke mit niedrigerer Frequenz, ohne ältere Parameter zu stören. Anschließend werden die Kurzzeiterinnerungen mittels Generalized Knowledge Distillation (GKD) in Kombination mit auf Reinforcement Learning (RL) basierendem Imitationslernen in diese Langzeitparameter übertragen. Danach werden die temporären hochfrequenten Parameter zurückgesetzt, was die Autoren als synaptisches Beschneiden bezeichnen.
• Träumen: Das Modell erzeugt synthetische Trainingsbeispiele, sogenannte Träume. Der MoE-Router aktiviert zufällig nicht standardmäßige Experten, um unterschiedliche Wissensdomänen zu vermischen. Die Beispiele werden mit gradientenbasierter Datenauswahl gefiltert. Anschließend führt das Modell überwachtes Fine-Tuning mit den am besten bewerteten Beispielen durch und prüft, ob sich die Leistung bei nachgelagerten Aufgaben verbessert.

Theorie und berichtete Ergebnisse

Die Autoren sehen ihren Ansatz theoretisch untermauert. Für die Konsolidierung beschreiben sie das Einpflanzen von Wissen als strukturiertes Low-Rank-Kompressionsproblem: Das Modell kopiert nicht jedes Detail seiner Kurzzeitspuren, sondern identifiziert eine kompakte Menge von Richtungen, die sein eigenes On-Policy-Verhalten und die semantischen Eigenschaften bewahren, die das Ziel belohnt. Die Parametererweiterung schafft die Kapazität, diese Erinnerungen zu speichern, ohne frühere zu überschreiben.

Für das Träumen deutet die Analyse die zufällige Expertenaktivierung und die belohnungsbasierte Auswahl als Mittel, die Geometrie des Lernens zu verbessern. Dem Beitrag zufolge ergibt sich dadurch eine ausgeglichenere Optimierungslandschaft, in der Gradienten besser konditioniert sind und der Fortschritt stabiler verläuft.

Google Research verglich das Framework mit Baselines wie ICL und überwachtem Fine-Tuning in den Bereichen klasseninkrementelles Lernen, kontinuierliche Übersetzung, Skalierung auf lange Kontexte von bis zu 10 Mio. Token, Aufnahme von Faktenwissen und mathematisches Schlussfolgern. Bei der kontinuierlichen Übersetzung für unbekannte Sprachen wie Mandschu und Kalamang hielt das Schlaf-Framework in mehrstufigen Auswertungen einen Leistungsabfall von nahezu null, während ICL, Cartridges und SFT unter starkem katastrophalem Vergessen litten. Auf dem BABILong-Benchmark zeigte die Methode laut den Forschenden eine nahezu perfekte Skalierung bis 10 Mio. Token und übertraf Baselines wie GPT-4 und Titans.

Was das bedeutet

Die Arbeit weist einen Weg, wie bereits eingesetzte Modelle nach der Veröffentlichung weiterlernen können, ohne dass ein vollständiger Neutrainingszyklus nötig ist und ohne sich allein auf das Kontextfenster zu stützen. Die berichteten Ergebnisse stammen aus eigenen Auswertungen von Google Research. Die übrigen Ergebnisse zu Faktenwissen und mathematischem Schlussfolgern werden im vorliegenden Quelltext nicht im Detail behandelt. Der Beitrag beschreibt weder eine Produktveröffentlichung noch eine Verfügbarkeit.