CVPR 2026: Workshop will KI von der Weltgenerierung zum Handeln in der Welt bringen

Realistische Videogenerierung reicht für Roboter, die in der physischen Welt handeln müssen, nicht aus. Das geht aus der Zusammenfassung von Lambda zum CVPR 2026 Workshop on World Models Meet Active Sensing and Closed-Loop Planning (WMAS) hervor. Lambda, Mitveranstalter und Sponsor der Veranstaltung, sieht in den Forschungsarbeiten eine Entwicklung hin zu Agenten, die in einem kontinuierlichen Kreislauf wahrnehmen, planen und handeln.
- Lambda war Mitveranstalter und Sponsor des CVPR-2026-Workshops WMAS mit 20 angenommenen Papers und Vorträgen von Roy, Yuille, Aloimonos und Finn.
- RoboWM-Bench zeigte, dass visuell plausible generierte Videos dennoch Verhalten erzeugen können, das bei der Ausführung scheitert.
- Laut den GEM-4D-Autoren steigt die Erfolgsquote bei realer Manipulation mit geometriegestützten Video-Weltmodellen von 61 auf 81 Prozent.
- SAW-Bench ermittelt beim Situationsbewusstsein eine Lücke von 37,66 Prozent zwischen Mensch und dem besten von 24 getesteten Modellen.
- Lambda beschreibt einen kontinuierlichen Kreislauf aus Wahrnehmen, Verstehen, Vorhersagen, Planen und Handeln als Richtung für Physical AI.
Ein Workshop rund um eine zentrale Frage
Auf dem WMAS kamen Forschende aus den Bereichen generative Modellierung, Computer Vision, Robotik und Embodied AI zusammen. Laut Lambda gab es Vorträge von Nicholas Roy vom MIT CSAIL, Alan Yuille von der Johns Hopkins University, Yiannis Aloimonos von der University of Maryland sowie Chelsea Finn von der Stanford University und Physical Intelligence. Hinzu kamen 20 angenommene Fachbeiträge zu Weltmodellen, aktiver Wahrnehmung, Robotik-Policies, multimodaler Steuerung und Evaluierung.
Die zentrale Frage lautet nach Lambdas Darstellung: Wie gelangen wir von Modellen, die die Welt generieren, zu Agenten, die in ihr intelligent wahrnehmen, schlussfolgern, planen und handeln können? Bild- und Videomodelle erzeugen bereits fotorealistische Szenen und komplexe Dynamiken. Ein KI-System in der physischen Welt müsse darüber hinaus erkennen, was es nicht weiß, entscheiden, welche Informationen es sammeln soll, handeln, die Ergebnisse beobachten und seinen Plan anpassen, argumentiert Lambda.
Realistisch aussehen heißt nicht, umsetzbar zu sein
Eines der drei mündlich vorgestellten Papers, RoboWM-Bench, bewertet Video-Weltmodelle, indem es die generierten Videos untersucht und die darin gezeigten Manipulationsverhalten in verkörperte Handlungssequenzen überführt. Anschließend wird getestet, ob diese Aktionen Aufgaben tatsächlich lösen können. Laut Lambda offenbart die Evaluierung eine entscheidende Lücke: Videos, die plausibel aussehen, können dennoch Verhalten hervorbringen, das bei der Ausführung scheitert, etwa wegen Fehlern im räumlichen Schlussfolgern, instabiler Kontaktvorhersagen oder physikalisch inkonsistenter Verformungen.
GEM-4D geht das Problem von der Modellierungsseite an. Das Verfahren ergänzt ein Video-Weltmodell um dichte 4D-Korrespondenz-Supervision, damit generierte Frames geometrisch konsistent bleiben. Ein Inverse-Dynamics-System wandelt die generierten Rollouts anschließend in ausführbare 6-DoF-Roboterbahnen um. Die Autoren berichten, dass dieser geometriegestützte Ansatz die Erfolgsquote bei realen Manipulationsaufgaben von 61 auf 81 Prozent steigert.
Auch die eingeladenen Vorträge griffen das Thema auf. Nicholas Roys Vortrag „World Models and Why We Should Care about Their Structure“ drehte sich um den Aufbau von Weltmodellen, während Alan Yuilles „World Models: Bayes or Bust?“ probabilistisches Schlussfolgern in die Diskussion einbrachte.
Wissen, was es wahrzunehmen gilt
Das dritte mündlich präsentierte Paper, SAW-Bench, testet das Situationsbewusstsein multimodaler Foundation-Modelle. Der Benchmark umfasst 786 egozentrische Videos aus der realen Welt und 2.071 von Menschen annotierte Fragen zu sechs Aufgaben des Situationsbewusstseins. Über 24 evaluierte Modelle hinweg berichten die Autoren von einer Lücke von 37,66 Prozent zwischen Mensch und dem leistungsstärksten Modell. Ihre Analyse deutet darauf hin, dass Modelle zwar teilweise geometrische Hinweise nutzen können, aber keine kohärente beobachterzentrierte Geometrie aufbauen, was zu systematischen Fehlern beim räumlichen Schlussfolgern führt.
Lambda nutzt dies als Einstieg in die aktive Wahrnehmung. Die meisten heutigen KI-Systeme verarbeiten, was ihnen vorgesetzt wird, ein aktiver Agent hingegen kann gezielt Informationen suchen, um Unsicherheit zu verringern. In Lambdas Beispiel könnte ein Roboter, der einen teilweise verdeckten Gegenstand handhabt, seine Kameraperspektive ändern, das Objekt aus einem anderen Winkel betrachten oder entscheiden, dass Tastinformationen mehr nützen als eine weitere visuelle Beobachtung. Wahrnehmung wird damit Teil der Entscheidungsfindung: Der Agent fragt nicht nur, was er aus dem Gesehenen verstehen kann, sondern auch, was er als Nächstes beobachten sollte.
Die Generierung wird Teil des Handlungskreislaufs
Laut Lambda beginnen generative Modelle, von der Vorhersage ins Handeln überzugehen. Aloimonos hielt einen Vortrag mit dem Titel „Generative Action Systems“, Finn stellte „Evaluating and Improving Robotic Foundation Models with World Models“ vor. Ein weiteres WMAS-Paper, Imitation Learning Through Imagination in Latent Space, untersuchte, wie vorgestellte Trajektorien zum Lernen von Policies beitragen können.
In diesem Bild stellt sich ein generatives Modell mögliche Zukünfte vor, ein Weltmodell bildet ab, wie Aktionen diese verändern können, die aktive Wahrnehmung entscheidet, worauf als Nächstes zu achten ist, und eine Policy wählt eine Aktion, deren Ergebnis zur neuen Beobachtung wird. Lambda fasst den Zyklus als „Sense, Understand, Predict, Plan, Act, Sense Again“ zusammen, im Gegensatz zu einer klassischen Open-Loop-Pipeline. Eine generierte Zukunft müsse nicht mehr das Endergebnis sein, sondern könne als Zwischenrepräsentation dienen, um über Ergebnisse nachzudenken.
Was das für Physical AI bedeutet
Lambda betont, dass die physische Welt nur teilweise beobachtbar ist und sich ständig verändert, Sensoren unvollkommen sind, Objekte verdeckt werden und Handlungen unsichere Folgen haben. Ein Agent könne deshalb nicht davon ausgehen, dass seine ersten Beobachtungen alles enthalten, was er braucht.
Das Unternehmen beschreibt drei Komponenten als einander ergänzend: Weltmodelle, um die Umgebung abzubilden und Zukünfte vorzustellen, aktive Wahrnehmung, um Informationen strategisch zu beschaffen, und Closed-Loop-Planung, um Entscheidungen bei neuen Beobachtungen zu überarbeiten. Für Forschende und Entwickler robotischer Systeme deuten die Benchmarks des Workshops auf eine Evaluierung hin, die danach fragt, ob generiertes Verhalten bei der Ausführung gelingt, und nicht nur, wie realistisch es aussieht.


