Apples SCLATE gibt lernenden Agenten einen gemeinsamen Scheduler
Apple-Forscher haben mit SCLATE eine Ausführungsumgebung zum Training und zur Evaluierung von Continual-Learning-Agenten vorgestellt. Sie verdichtet Szenarien über einen Monat dank einer hybriden simulierten Uhr auf wenige Stunden. Laut der Studie tragen Benchmarks und unveränderte Agenten ihre Ereignisse jeweils über einen Adapter in einen gemeinsamen, offenen Scheduler ein.
- SCLATE lässt Benchmarks und unveränderte Agenten ihre Ereignisse über einen Adapter in einen gemeinsamen, offenen Scheduler eintragen.
- Eine hybride simulierte Uhr überspringt Leerlaufphasen und verdichtet ein Szenario über einen Monat auf wenige Stunden.
- Sieben Benchmarks wurden portiert, zehn Konfigurationen aus Harness und Speicher wurden auf zehn Modellen verglichen.
- Ein zusätzliches Speichersystem schlug den nativen Speicher des Harness nicht verlässlich.
- Das nachtrainierte Qwen3.5-4B las 6,8-mal weniger Dateizeilen und gewann 16,7 Punkte auf SWE-bench Verified.
Das Problem: Agenten, die über viele Sitzungen hinweg arbeiten
Continual-Learning-Agenten sind der Studie zufolge Systeme aus Modellen, Harnesses und Speicher, die über lange Zeiträume und mehrere Sitzungen hinweg arbeiten. Wer solche Systeme testen oder trainieren will, muss Benchmark-Aufgaben mit Ereignissen verzahnen, die vom Agenten selbst stammen, etwa Start und Ende von Sitzungen, Cronjobs und die Konsolidierung des Speichers.
Bestehende Benchmarks und Trainingsframeworks planen nach Angaben der Autoren nur die eigenen Ereignisse des Benchmarks ein. Deshalb braucht jede Kombination aus Benchmark und Agent eine eigene, maßgeschneiderte Scheduling-Schleife.
So funktioniert SCLATE
SCLATE ist so aufgebaut, dass Benchmarks und unveränderte Agenten ihre Ereignisse jeweils über einen Adapter bei einem offenen Event-Scheduler registrieren. Eine hybride simulierte Uhr lässt alle diese Ereignisse anschließend auf einer gemeinsamen Zeitachse ablaufen. Die Uhr läuft in Echtzeit, solange der Agent arbeitet, und überspringt Leerlaufphasen. Damit lässt sich laut den Autoren ein Szenario über einen Monat auf wenige Stunden verdichten.
Das System dient zudem als Rollout-Engine. Es führt Harness und Speicher beliebiger Agenten unverändert aus und zeichnet über einen Proxy im Container die Tokens und Log-Wahrscheinlichkeiten jedes Modellaufrufs auf. Dadurch eignet es sich nicht nur für die Evaluierung, sondern auch für das Post-Training.
Ergebnisse des Vergleichs
Das Team portierte sieben Benchmarks auf SCLATE und verglich zehn unveränderte Konfigurationen aus Harness und Speicher direkt miteinander, und zwar auf zehn Modellen. Laut der Studie fallen zwei Befunde besonders auf:
- Ein zusätzliches Speichersystem schlägt den nativen Speicher des Harness nicht verlässlich.
- Die Modelle unterscheiden sich stark darin, wie sie denselben Harness und denselben Speicher nutzen.
Post-Training von Qwen3.5-4B
Die Forscher trainierten außerdem Qwen3.5-4B über unveränderte Harnesses und Speichersysteme nach. Die Studie berichtet, das Modell habe gelernt, beides zu nutzen. Es las 6,8-mal weniger Dateizeilen und erreichte eine um 16,7 Punkte höhere Erfolgsquote auf SWE-bench Verified. Zudem schrieb es umfangreichere Speichereinträge, und seine Genauigkeit auf dem zurückgehaltenen MetaClaw-Datensatz stieg um bis zu 11,8 Punkte.
Was das bedeutet
Für Teams, die Agenten mit dauerhaftem Speicher entwickeln, zeigt die Studie einen einheitlichen Weg, Benchmark- und Agenten-Ereignisse gemeinsam zu planen, statt für jede Kombination eine eigene Schleife zu schreiben. Die Vergleichsergebnisse legen zudem nahe, den Nutzen eines zusätzlichen Speichersystems zu testen, statt ihn vorauszusetzen, denn es übertraf den nativen Speicher eines Harness nicht zuverlässig. Das Experiment mit Qwen3.5-4B deutet darauf hin, dass dieselbe Umgebung neben der Evaluierung auch das Training speisen kann, und zwar mit Agenten in der Form, wie sie im Einsatz laufen. Ob und wann SCLATE veröffentlicht wird, geht aus der Quelle nicht hervor.
