Wayfarer: KI-Agenten entdecken eigene Fähigkeiten und meistern Atari-Spiele
Forschende von Amii haben Wayfarer vorgestellt, eine Reinforcement-Learning-Architektur, die ohne menschliche Daten, ohne menschliches Eingreifen und ohne fest einprogrammiertes Domänenwissen selbst wiederverwendbare Fähigkeiten entdeckt, sogenannte Optionen. Laut Amii erzielte sie bei zehn schwierigen Atari-Spielen im Median eine 2,5-mal so hohe Leistung wie Lernen ohne Optionen.
- Die Amii-Forschenden Erik M. Lintunen und Marlos C. Machado haben Wayfarer vorgestellt, das beim Reinforcement Learning eigene Optionen entdeckt.
- Es nutzt drei Netzwerke (Repräsentation, Fähigkeiten, Aufgabenlösung), die in einer Schleife verbunden sind, in der Erfahrung sowohl die Repräsentation als auch die Optionen verbessert.
- Bei zehn schwierigen Atari-2600-Spielen erzielte es laut Amii im Median eine 2,5-fache Leistungssteigerung gegenüber Lernen ohne Optionen.
- Es übertraf Baselines wie IQN und Rainbow und hielt mit aufwendigen modellbasierten Systemen mit, ohne menschliche Daten oder fest einprogrammiertes Domänenwissen.
Was Wayfarer ist und wer dahintersteckt
Die Arbeit ist im Paper Mastering Atari 2600 Games with Discovered Options beschrieben. Verfasst wurde sie von Erik M. Lintunen, der über den Canada Impact+ Research Training Award rekrutiert wurde, und seinem Betreuer Marlos C. Machado, Amii Fellow und Canada CIFAR AI Chair.
Die beiden präsentieren Wayfarer als autonome Entscheidungsarchitektur, die komplexe Verhaltensweisen allein anhand des Datenstroms des Agenten beherrschen kann. Laut Amii verspricht der Ansatz Agenten, die besser langfristige Entscheidungen treffen und anspruchsvollere Aufgaben effizient bewältigen können, ohne dass ständig Menschen eingreifen müssen.
Das Problem, das Optionen lösen sollen
Reinforcement-Learning-Agenten lernen durch Versuch und Irrtum, tun sich aber mit Aufgaben schwer, die viele kleine Schritte erfordern. Amii nennt als Beispiel einen Agenten, der sich durch ein großes Haus bewegt: Jeder Schritt ist eine Entscheidung über Richtung, Tempo und sogar darüber, ob er sich überhaupt bewegt. Das kann zu Entscheidungen führen, die kurzfristig sinnvoll, für das langfristige Ziel aber ineffizient sind, und zu zeitraubendem Zögern an jedem Entscheidungspunkt.
Zudem fehlt Agenten mitunter das zielgerichtete Verhalten, um etwas anderes auszuprobieren, etwa in ein anderes Stockwerk zu gehen. Sie haben es schwer herauszufinden, welche von Millionen Entscheidungen für einen Erfolg verantwortlich war, und das Gelernte lässt sich nicht unbedingt leicht auf neue Situationen übertragen.
Optionen setzen hier an, indem sie kleinere Schritte zu einer einzigen Entscheidung bündeln. Statt hundert kleine Entscheidungen zu treffen, um einen Raum voller Hindernisse zu durchqueren, trifft der Agent eine strategische Entscheidung, etwa „den Raum durchqueren“. Amii bezeichnet das als Fähigkeit. Laut der Quelle gelten Optionen seit Langem als vielversprechend, mussten bislang aber weitgehend von Menschen entworfen oder von Agenten mithilfe menschlichen Feedbacks verfeinert werden.
Wie die drei Netzwerke zusammenarbeiten
Wayfarer ist ein domänenunabhängiger Algorithmus, der drei Netzwerke kombiniert:
- Repräsentationsnetzwerk: nimmt die Beobachtung der Umgebung auf und erstellt daraus eine Repräsentation. Sie hilft dem Agenten zu unterscheiden, was sich langsam oder schnell verändert, was wahrscheinlich eintritt oder nicht und was er kontrollieren kann oder nicht.
- Fähigkeitsnetzwerk: baut aus dieser Repräsentation und der Erfahrung des Agenten eine Sammlung von Optionen auf.
- Aufgabenlösungsnetzwerk: bewertet die Herausforderung und entscheidet, welche Aktionen und Optionen die maximalen Belohnungen bringen würden.
Die Forschenden nennen das Zusammenspiel eine „positive Schleife“ („virtuous loop“). Die Repräsentation definiert interne Ziele, aus denen Optionen entstehen, der Agent sammelt Erfahrung mit den genutzten Optionen und lernt daraus wiederum, eine bessere Repräsentation und stärkere Optionen aufzubauen. Amii beschreibt das als konstruktivistisches Lernen, bei dem Wissen aktiv aus Erfahrung aufgebaut wird.
Ergebnisse bei schweren Atari-Spielen
Das Team testete Wayfarer mit dem Atari 2600 Challenging Set, zehn schwierigen Spielen, anhand derer Reinforcement-Learning-Agenten verglichen werden. Viele davon, darunter Montezuma's Revenge und Private Eye, erfordern langfristige Planung, Exploration und Strategie.
Laut Amii erreichte Wayfarer im Median eine 2,5-fache Leistungssteigerung gegenüber Lernen ohne Optionen. Es übertraf zudem etablierte Baselines wie IQN und Rainbow und hielt mit aufwendigen modellbasierten Systemen mit. Das gelang ohne menschliches Eingreifen und ohne vorgegebene Optionen, da der Agent seine eigenen entdeckte.
Was das bedeuten könnte
Machado, der sich seit einem Jahrzehnt mit dem Potenzial von Optionen in RL-Agenten beschäftigt, sagt, Wayfarer löse das Versprechen der Optionen vielleicht zum ersten Mal ein. Laut Amii könnte die Arbeit zu besseren autonomen Agenten für komplexe Aufgaben führen, bei denen menschliche Anleitung nicht möglich oder praktikabel ist, von industrieller Robotik bis zu autonomen Fahrzeugen, und das mit weniger Ressourcen und Rechenleistung. Die Quelle berichtet allerdings nur Ergebnisse auf Atari-Benchmarks, diese Anwendungen sind also bislang Aussichten und keine nachgewiesenen Resultate.
