Apple trainiert kleine UI-Agenten per Online-RL direkt auf Live-iOS-Apps

Das Problem mit günstigen UI-Agenten

Das Paper trägt den Titel "Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live iOS Apps" und geht von einem Zielkonflikt aus. Nach Angaben der Autoren navigieren führende Vision-Language-Modelle zwar sehr gut durch Benutzeroberflächen, doch ihre hohen Inferenzkosten verhindern den alltäglichen Einsatz.

Kleinere Modelle sind günstiger, doch die Autoren erklären, dass solche, die per Supervised Fine-Tuning (SFT) oder Offline-Reinforcement-Learning trainiert wurden, statische Trajektorien oft auswendig lernen. Die Folge, so schreiben sie, sei eine brüchige Ausführung und die Unfähigkeit, sich von Fehlern zu erholen. Das neue Framework soll diese Lücke schließen, indem es Agenten online und direkt auf Live-iOS-Anwendungen trainiert.

Die Arbeit stammt von Peitong Duan, Seyed Khashaiar Gatmiry, Jeff Nichols, Emmanuel Abbe und Samy Bengio. Duan und Gatmiry haben zu gleichen Teilen beigetragen.

So funktioniert das Framework

Das System teilt den Agenten in zwei spezialisierte Komponenten auf: einen Planning-Agenten und ein UI-Grounding-Modell. Das Training stützt sich auf einen LLM-as-a-Judge, der zwei Arten von Belohnungssignalen liefert:

• Dichtes Feedback auf Schrittebene, das Zwischenfortschritte bewertet.
• Eine Endbelohnung für den Gesamterfolg der Aufgabe.

Um beide Signale zu nutzen, optimiert das Team den Agenten mit Proximal Policy Optimization (PPO) und einer Advantage-Schätzung auf Schrittebene. Die Autoren führen zudem GiGPPO ein, das sie als Methode zur nachbarschaftsbedingten Wertschätzung beschreiben. Sie verbessert die Stabilität des Critic, indem sie Belohnungssignale aus visuell ähnlichen Zuständen über parallele Trajektorien hinweg einbezieht.

Online-Training in dieser Größenordnung erfordert eine eigene Infrastruktur. Laut Paper hat das Team ein System gebaut, das Hunderte parallel laufende virtuelle iOS-Geräte orchestriert.

Benchmark-Ergebnisse

Die Autoren haben ihre Agenten auf UINavBench, iOSWorld und AndroidWorld getestet. Laut Paper übertreffen die Online-RL-Agenten sowohl SFT- als auch reine Endbelohnungs-RL-Baselines deutlich und beschleunigen zudem die Konvergenz des Trainings.

Zwei Ergebnisse stechen im Abstract hervor. Erstens erzielen die 8B-RL-Agenten bei der Generalisierung auf Android-Umgebungen außerhalb der Trainingsverteilung eine fast siebenfache Verbesserung gegenüber der SFT-Baseline, obwohl das Training auf iOS stattfand. Zweitens übertreffen die 8B-Agenten auf echten iOS-Anwendungen Gemini-3.5-Flash und liegen gleichauf mit Gemini-3.1-Pro.

Diese Zahlen stammen aus den eigenen Auswertungen der Autoren, wie sie im Abstract berichtet werden. Die zugrunde liegenden Messwerte nennt der Quelltext nicht.

Was das bedeutet

Die Ergebnisse legen nahe, dass ein kompaktes Modell, das mit Belohnungen auf Schrittebene auf Live-Apps trainiert wird, bei UI-Aufgaben an die Leistung deutlich größerer Systeme heranreichen kann. Das betrifft unmittelbar die von den Autoren benannte Kostenbarriere. Das Paper verweist außerdem auf eine bessere Fehlerkorrektur und eine stärkere Generalisierung als beim reinen SFT-Training, zwei Schwächen, die es Ansätzen mit statischen Trajektorien zuschreibt.

Die Quelle ist das Abstract eines Forschungspapers, daher enthält sie keine Angaben zu Produktplänen oder Verfügbarkeit.