Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Apples RLTL;DR: KI lernt aus eigenen Fehlschlägen bei Aufgaben, die sie nicht lösen kann

1. Oktober 2026Von der KI Nachrichten RedaktionQuelle: Apple
Apples RLTL;DR: KI lernt aus eigenen Fehlschlägen bei Aufgaben, die sie nicht lösen kann
Bild: Apple

Apple-Forscher haben mit RLTL;DR ein Trainingsverfahren vorgestellt, mit dem ein Modell bei Aufgaben besser wird, die es fast nie löst, indem es kurzes Feedback zu den eigenen gescheiterten Versuchen verfasst. Laut der Studie blieb eine Qwen 3.5 9B Thinking Policy beim Standardtraining mit GRPO bei einem Pass@1 von 0 bis 1 Prozent, mit dem neuen Ansatz erreichte sie 14 bis 31 Prozent.

Das Wichtigste in Kürze
  • Bei Apples RLTL;DR schreibt ein Modell nach jedem gescheiterten Versuch eine einzelne TL;DR-Erkenntnis und konditioniert spätere Rollouts darauf.
  • Bei Tool-Calling- und Coding-Aufgaben, gefiltert auf Pass@128 = 0, bleibt Standard-GRPO mit Qwen 3.5 9B Thinking bei 0 bis 1 Prozent Pass@1.
  • RLTL;DR erreicht mit Erkenntnissen im Kontext 14 bis 31 Prozent Pass@1 und 12 bis 13 Prozent, wenn bei der Evaluation keine Erkenntnis im Kontext steht.
  • Die Variante SFTL;DR, trainiert auf nur 4.000 (Aufgabe, Erkenntnis)-Tupeln, erreicht fast die volle Leistung von RLTL;DR und von klassischem SFT auf vollständigen Rollouts.

Das Problem, nur aus seltenen Erfolgen zu lernen

Die Studie, die im Oktober 2026 erschien und mit der NeurIPS verknüpft ist, geht von einer Einschränkung des Reinforcement Learning mit überprüfbaren Belohnungen (RLVR) aus. Bei diesem verbreiteten Setup unternimmt ein Agent mehrere Versuche für eine Aufgabe, und das Training optimiert in Richtung der erfolgreichen Versuche.

Nach Angaben der Autoren wird das in Selbstverbesserungs-Szenarien zum Problem. Dort können Aufgaben so schwierig sein, dass der Agent nur eine geringe oder gar keine Erfolgschance hat. Zudem gibt es weder Lehrermodelle noch Beispiellösungen, aus denen sich destillieren ließe. Scheitern fast alle Versuche, bleibt kaum Signal zum Lernen.

So funktioniert RLTL;DR

Bei RLTL;DR bekommt die Policy nach jedem gescheiterten Versuch die Ausgaben des Verifiers zu sehen und verfasst anschließend ihr eigenes Feedback in Form einer einzelnen TL;DR-Erkenntnis. Der nächste Rollout wird auf alle bisherigen Erkenntnisse konditioniert, und die Rollouts werden nacheinander gezogen, bis eine Lösung gefunden ist.

Die Autoren fügen einen zweiten Schritt hinzu: Sie aktivieren Backpropagation auf den Erkenntnissen im Kontext. Ziel ist es, eine direkte Abbildung von Aufgabe auf Erkenntnis (task → insight) zu verinnerlichen, sodass das Modell die Lehre mitbringt, ohne dass sie im Prompt stehen muss.

Die Studie stammt von Michael Kirchhof, Eleonora Gualdoni, Andrew Szot, Khashayar Gatmiry, Aryo Lotfi, Abbas Kazerouni, Omar Attia, Sanjoy Chowdhury und Alexander Toshev.

Ergebnisse bei schwierigen Tool-Calling- und Coding-Aufgaben

Für die Auswertung wurden anspruchsvolle Tool-Calling- und Coding-Datensätze verwendet, gefiltert auf Pass@128 = 0. Hier bleibt das Standardtraining einer Qwen 3.5 9B Thinking Policy mit GRPO laut der Studie bei einem Pass@1 von 0 bis 1 Prozent stehen.

RLTL;DR durchbricht nach Angaben der Autoren diese Lernbarriere. Mit Erkenntnissen im Kontext während des Trainings erreicht das Verfahren einen Pass@1 von 14 bis 31 Prozent. Die Autoren betonen, dass es auch 12 bis 13 Prozent erzielt, wenn zur Evaluationszeit keine Erkenntnis im Kontext steht.

Als Schlüsselzutat nennen sie die Verinnerlichung der Abbildung von Aufgabe auf Erkenntnis.

SFTL;DR: eine kompakte Trainingsvariante

Um das genauer zu untersuchen, reduzierte das Team den Ansatz auf SFTL;DR. Dabei wird nur auf (Aufgabe, Erkenntnis)-Tupeln trainiert, ohne Rollouts zu zeigen oder darauf Backpropagation anzuwenden. Laut der Studie erreicht das Training mit nur 4.000 dieser Tupel fast die volle Leistung von RLTL;DR und von klassischem SFT auf vollständigen Rollouts.

Die Autoren sehen darin ein vielversprechendes, verdichtetes Trainingsparadigma nach dem Muster "Behalte bei dieser Art von Aufgabe jene Art von Hinweis im Kopf" und hoffen, dass es künftige Forschung inspiriert.

Was das bedeutet

Die Ergebnisse legen nahe, dass das verdichtete Feedback eines Modells zu den eigenen Fehlschlägen ein brauchbares Lernsignal liefern kann, wenn es keinen Lehrer gibt und das Modell fast nie erfolgreich ist. Die berichteten Zugewinne wurden an einem bestimmten Modell und an Datensätzen gemessen, die gezielt auf hohe Schwierigkeit gefiltert wurden. Wie sich die Methode anderswo schlägt, zeigt die Studie für sich genommen daher nicht. Den Befund, dass kurze Erkenntnisse weitaus größere Mengen vollständiger Rollouts ersetzen können, heben die Autoren als Ansatzpunkt für Folgearbeiten hervor.

Ähnliche Meldungen

Apple-Papier definiert theoretische Grenzen für die Ausrichtung von Sprachmodellen
Forschung12. November 2026

Apple-Papier definiert theoretische Grenzen für die Ausrichtung von Sprachmodellen

Apple-Forscher haben ein NeurIPS-Papier veröffentlicht, das die maximale Belohnungssteigerung von Sprachmodellen bei einem festen KL-Divergenz-Budget definiert. Die…

Apple-Studie untersucht, warum Gated State Space Models beim In-Context-Lernen Schwierigkeiten haben
Forschung10. November 2026

Apple-Studie untersucht, warum Gated State Space Models beim In-Context-Lernen Schwierigkeiten haben

Eine von Apple veröffentlichte Studie untersucht, wie sich Gating auf State Space Models auswirkt. Demnach kann es die Modelle zur Speicherung von Wissen in den…

Apple-Studie stellt infrage, ob LLM-Richter menschliche Schreibpräferenzen abbilden
Forschung10. November 2026

Apple-Studie stellt infrage, ob LLM-Richter menschliche Schreibpräferenzen abbilden

Apple-Forscher haben untersucht, wie zuverlässig Large Language Models beurteilen können, ob generierte Texte dem bevorzugten Stil eines Nutzers entsprechen. Die Studie…