MITs FLEX hilft Robotern, mehr als menschliche Befehle zu verstehen
Forschende des MIT und der New York University haben FLEX entwickelt, eine KI-gestützte Lernplattform, die Robotern hilft, aus Gesprächsbefehlen weitergehende Bedeutungen abzuleiten. Das System soll die Bewegungsplanung von Robotern verbessern, indem es wörtliche Anweisungen mit Verallgemeinerungen darüber verbindet, was Menschen vermeiden möchten.
- FLEX hilft Robotern, aus Befehlen in natürlicher Sprache umfassendere Präferenzen abzuleiten.
- Das System nutzt GPT-4o, um aus konkreten Objekten und Warnungen Verallgemeinerungen abzuleiten.
- Die drei Schritte von FLEX heißen Add, Generalize und Mask.
- Der Prozess dauert laut MIT etwa fünf Sekunden.
- Die Forschenden testeten FLEX in drei simulierten Aufgaben mit einem Roboterarm.
Von einem konkreten Hinweis zu einer allgemeinen Regel
FLEX wurde in simulierten Szenarien demonstriert, in denen ein Roboterarm Kaffee serviert, eine Kerze bewegt und eine Bowlingkugel transportiert. In einem Beispiel tippt eine Person: „Verschütte nichts auf dem Laptop!“ Während der Roboter die Kaffeetasse über einen vollgestellten Tisch bewegt, schließt FLEX daraus, dass die Sorge nicht nur dem Laptop gilt, sondern auch anderer Elektronik, darunter einem nahe gelegenen Smartphone.
Die Plattform nutzt ein großes Sprachmodell, kurz LLM, um Muster und Zusammenhänge zu den Merkmalen zu erkennen, die eine Person erwähnt hat. Die Forschenden verwendeten dafür GPT-4o. Nach Angaben des MIT kann das Modell Beispiele wie Flüssigkeit, die ein Smartphone oder einen Computer beschädigt, mit einer allgemeineren Anweisung verbinden, Elektronik zu vermeiden.
Dadurch kann der Roboter seine Route anpassen, ohne dass die Person jedes einzelne Objekt oder jede Regel aufzählen muss. Der Ansatz soll Robotern helfen, aus begrenzten Befehlen in natürlicher Sprache eine zugrunde liegende Präferenz zu erschließen.
So funktioniert FLEX
FLEX ist ein dreistufiger Prozess namens „Add“, „Generalize“ und „Mask“. Im ersten Schritt fügt der Roboter ein Objekt oder Merkmal, das in einem Befehl erwähnt wird, einer Liste relevanter Dinge für die Aufgabe hinzu. Sagt eine Person beispielsweise: „Lass es nicht auf meine Tasse fallen“, während der Roboter eine Bowlingkugel bewegt, wird die Tasse zu etwas, das der Roboter vermeiden sollte.
Im zweiten Schritt, „Generalize“, betrachtet GPT-4o die von der Person genannten Merkmale und sucht nach übergeordneten Mustern. Eine Tasse kann das System beispielsweise zu der Verallgemeinerung führen, dass zerbrechliche Objekte vermieden werden sollten, selbst wenn die Person diese Regel nicht ausdrücklich genannt hat.
Der letzte Schritt, „Mask“, nutzt das standardmäßige Computer-Vision-System des Roboters, um festzustellen, welche Objekte nicht mehr vorhanden sind. FLEX entfernt diese Objekte anschließend aus der Merkmalsliste. Nach Angaben des MIT dauert der gesamte dreistufige Prozess etwa fünf Sekunden.
Auf dem Weg zu alltagstauglicheren Haushaltsrobotern
Geleitet wurde die Studie von Andreea Bobu, einer Assistenzprofessorin für Luft- und Raumfahrttechnik am MIT. Nathan Dennler, Postdoktorand am Computer Science and Artificial Intelligence Laboratory des MIT, ist Autor der Studie. Audrey Lee SM ’26 und Ilia Sucholutsky von der New York University sind ebenfalls Mitautoren.
Bobu leitet das Collaborative Learning and Autonomy Research Lab des MIT, das autonome Agenten entwickelt, die lernen, für, mit und in der Umgebung von Menschen zu arbeiten. Die Forschenden erklären, dass aktuelle Robotersysteme Sprache nutzen können, um eine Aufgabe zu präzisieren, eine Bewegungsbahn umzuleiten oder anzupassen, was sie als sicheren Weg betrachten. FLEX erweitert jedoch die Informationen, die ein Roboter aus solchen Befehlen ableiten kann.
Die Arbeit mit dem Titel „Flexible Language-Guided Representation Editing for Adaptive Robot Behavior“ soll diesen Monat auf der jährlichen Conference on Robot Learning vorgestellt werden. Nach Ansicht der Forschenden könnte das System intuitivere Haushalts- und Assistenzroboter ermöglichen, weil Menschen ihre Präferenzen in Alltagssprache mitteilen können, statt erst detaillierte Anweisungen erlernen zu müssen.
