Penn Engineering bringt Robotern mehrstufige Aufgaben mit fünf Minuten Video bei

Symbolische Planung trifft dynamische Systeme

Damit Roboter im Alltag nützlich sind, müssen sie sich laut Penn Engineering anpassen, wenn sich die Umstände ändern, Fehler korrigieren und sicher mit Menschen interagieren. Nadia Figueroa, Shalini and Rajeev Misra Presidential Assistant Professor für Maschinenbau und angewandte Mechanik, verfolgt dafür einen Ansatz, den die Universität als Physik der Intelligenz bezeichnet: Wie bewegen sich Objekte, wie kann sich der Körper eines Roboters durch den Raum bewegen und welche Randbedingungen gelten für diese Bewegungen?

Das Projekt ihrer Gruppe, SymSkill: Symbol and Skill Co-Invention for Data-Efficient and Reactive Long-Horizon Manipulation, nimmt eine grundlegende Grenze des Roboterlernens ins Visier: den Schritt von einzelnen Bewegungen zu mehrstufigen Aufgaben. Erstautor Yifei Simon Shao, Doktorand im Figueroa Lab, erklärt, ein Roboter könne zwar wissen, wie man ein Objekt greift, bewegt und ablegt. Eine reale Aufgabe verlange diese Fähigkeiten aber in einer bestimmten Reihenfolge, und die könne sich mittendrin ändern.

SymSkill arbeitet mit zwei Hierarchieebenen. Die erste, auf symbolischer Planung beruhend, hilft dem Roboter zu entscheiden, was zu tun ist. Im Beispiel einer Banane, die aus einer abgedeckten Pfanne auf einen Teller wandern soll, weist sie den Roboter an, den Deckel abzunehmen, die Banane aufzunehmen und auf den Teller zu legen. Die zweite Ebene nutzt einen Ansatz aus der Theorie dynamischer Systeme, um jede Bewegung physisch auszuführen und zu reagieren, wenn ein Mensch im Weg ist.

Fünf Minuten Video, bis zu 12 Schritte

Nach Angaben der Forschenden lernt das System diese Fähigkeiten aus nur fünf Minuten Videodemonstrationen. Aus dieser kleinen Datenmenge erlernt es einzelne Fertigkeiten, die sich zu längeren Aufgaben neu kombinieren lassen. Das Team zeigte dies in der Simulation und an einem echten Roboter, der mehrstufige Aufgaben mit bis zu 12 Schritten ohne zusätzliche Demonstrationen bewältigte.

Das System kann auch reagieren, wenn die Wirklichkeit nicht zum Plan passt. Greift ein Mensch ein oder scheitert der Roboter an einem Schritt, kann SymSkill neu planen und sich erholen. Figueroa sagt: „Wir können Roboter leistungsfähiger machen, ohne das Problem einfach mit mehr Daten zu erschlagen.“

Die Arbeit erhielt den Best Paper Award in der Kategorie Planning and Control auf der IEEE International Conference on Robotics and Automation (ICRA) 2026 sowie den Best Paper Award beim LEAP Workshop der Conference on Robot Learning (CoRL) 2025.

Gaussian Graphs: eine Straßenkarte aus Demonstrationen

Ein zweites Projekt, Zero-Shot Generalization from Motion Demonstrations to New Tasks, greift die Dateneffizienz aus einer anderen Richtung an. Figueroa arbeitete dafür mit Kilian Freitag und Alvin Combrink zusammen, beide Doktoranden an der Chalmers University of Technology in Schweden. Sie fragten, ob sich vorhandene Demonstrationen in einem Arbeitsbereich, etwa einer Küche, zu einer „Straßenkarte“ kombinieren lassen, mit der ein Roboter einen Weg zwischen Punkten findet, die ihm nie gezeigt wurden.

Die Forschenden führen dazu eine Struktur namens Gaussian Graph ein. Gelernte Bewegungen werden in kleinere Bewegungsbereiche zerlegt, die zu Knoten eines Graphen werden. Der Roboter kann diese Punkte verbinden, um Positionen zu erreichen, die er nicht ausdrücklich anzufahren gelernt hat. Dadurch braucht er nicht für jede mögliche Route eine neue Demonstration.

„Stellen Sie sich vor, man baut Straßen“, erklärt Figueroa. „Sobald wir die Karte erstellt und die Verkehrsregeln vorgegeben haben, kann man dem Roboter ein Ziel nennen, und er nutzt sein Wissen, um dorthin zu kommen, ohne dass ihm die genaue Route gezeigt wurde.“

Der Roboter kann die Straßenkarte auf zwei Arten nutzen: Er kombiniert gelernte Bewegungen zu einem neuen, direkten Weg, oder er verknüpft mehrere Bewegungen, um eine komplexere Aufgabe zu erledigen. In beiden Fällen kann er sich anpassen, wenn sich etwas ändert oder ihm etwas in die Quere kommt, und sein Ziel dennoch erreichen.

Wie es weitergeht

Laut Penn Engineering stützen sich beide Ansätze auf Physik, Mathematik und Informatik, statt einfach mehr Daten hinzuzufügen. Figueroas Labor untersucht nun, wie sich die Methoden mit Sprachmodellen verbinden lassen, damit Roboter besser verstehen, wie Menschen Aufgaben beschreiben. Das Team will zudem prüfen, wie sich die Verfahren auf Roboter mit zwei Armen und auf humanoide Roboter übertragen lassen und wie man über stationäre Arme hinaus zu Robotern kommt, die sich durch Räume bewegen und dabei Objekte handhaben.

Erklärtes Ziel ist es, grundlegende Systeme zu entwickeln, mit denen Roboter Gelerntes fortlaufend wiederverwenden, anpassen und kombinieren können. Sollte der Ansatz skalieren, deutet er auf Roboter hin, die deutlich weniger Demonstrationsdaten benötigen, um mit den wechselnden Bedingungen des Alltags zurechtzukommen. Die Quelle beschreibt allerdings nur Ergebnisse in der Simulation und an einem echten Roboterarm unter Forschungsbedingungen.