MIT-System hilft Robotern, falsche Objektbeschreibungen im Gedächtnis zu finden und zu korrigieren

Warum ein falsches Robotergedächtnis ein Problem ist

Das MIT nennt ein Beispiel: In einem Notfall bittet jemand einen Roboterassistenten, einen an der Wand montierten Defibrillator vom Ende des Flurs zu holen. Hat der Roboter den Defibrillator in seinem gespeicherten Gedächtnis fälschlich als Feuerlöscher gekennzeichnet, weiß er unter Umständen nicht, wo er das Gerät finden kann.

Das neue System baut auf früheren Arbeiten des Teams auf, DAAAM. Dieses Gedächtnissystem für Roboter nutzt ein Vision-Language-Modell (VLM), um Objekte in Szenen zu beschreiben, die die Bordkameras des Roboters aufnehmen. Die Beschreibungen werden als detaillierte Bildunterschriften in einer kartenbasierten 3D-Darstellung der Umgebung abgelegt, auf die der Roboter später zurückgreifen kann, um Fragen zu beantworten.

Die Schwäche: Ein Roboter sieht Objekte mitunter nur teilweise oder aus großer Entfernung, oder seine Kamera liefert unscharfe oder schlecht beleuchtete Bilder. In solchen Fällen beschreibt DAAAM ein Objekt womöglich falsch, etwa indem es einen grauen Schornstein für ein auf einem Dach sitzendes Eichhörnchen hält. Harry Zhang, Co-Hauptautor, sagt: „Ohne die Möglichkeit, sich selbst zu korrigieren, würde diese falsche Erinnerung bestehen bleiben, während der Roboter sich in seiner Umgebung weiterbewegt, was nachgelagerte Anwendungen beeinträchtigen könnte.“

So funktioniert UQ-DAAAM

UQ-DAAAM steht für Uncertainty Quantification for Describe Anything, Anywhere, at Any Moment. Das System ergänzt das DAAAM-Framework um eine Quantifizierung von Unsicherheit. So kann der Roboter messen, wie sicher er sich bei seinen Objektbeschreibungen ist, und falsche Bildunterschriften während der Fahrt korrigieren.

Während sich der Roboter bewegt, sammelt er Bilder, von denen viele dasselbe Objekt aus unterschiedlichen Blickwinkeln zeigen. Das System berechnet zunächst, wie sicher sich das VLM bei den Wörtern ist, die es für ein möglicherweise falsch beschriebenes Objekt erzeugt hat. Anschließend misst es die Konsistenz, indem es diese Beschreibung mit Bildunterschriften desselben Objekts aus anderen Perspektiven vergleicht. Luca Carlone, Seniorautor der Studie, erklärt: „Wir führen beide Unsicherheitsquellen zu einer einzigen Zahl zusammen, die erfasst, wie sicher das VLM in seinem Gesamtverständnis des Objekts ist.“

Überschreitet diese Zahl einen Schwellenwert, gilt die Unsicherheit als zu hoch, und das System verfeinert die Bildunterschrift mithilfe zusätzlicher Bilder. Eine Heuristik, also eine einfache Regel, entscheidet, welche zusätzlichen Blickwinkel die Unsicherheit verringern. Sie könnte zum Beispiel ein Bild aus einigen Frames später auswählen, auf dem deutlich Rauch aus dem Schornstein aufsteigt. Die Forschenden geben an, mathematisch bewiesen zu haben, dass diese Heuristik die besten Frames bestimmen kann, ohne das VLM erneut auszuführen, was den Rechenaufwand drastisch senkt.

Sobald die nützlichen Bildunterschriften ausgewählt sind, fasst ein LLM sie zu einer einzigen Objektbeschreibung zusammen und gewichtet dabei neue und weniger mehrdeutige Bildunterschriften stärker.

Ergebnisse und nächste Schritte

Laut MIT löst dieser Verfeinerungsschritt die Mehrdeutigkeiten bei etwa 92 Prozent der Objekte in der Umgebung des Roboters auf und benötigt dafür nur zwei zusätzliche Bildunterschriften pro Objekt. Die Genauigkeit der Objektbeschreibungen stieg gegenüber dem Stand der Technik um 5 Prozent. Auch bei Fragen dazu, welche Objekte beobachtet wurden, wo sie gesehen wurden und wann der Roboter ihnen zuletzt begegnet ist, antwortete das System genauer als Basismethoden.

Die Geschwindigkeit war eine zentrale Herausforderung. Carlone sagt, die Schwierigkeit habe darin bestanden, VLMs mit Unsicherheitsquantifizierung „zu etwas zu verbinden, das in einem Bruchteil einer Sekunde auf einem fahrenden Roboter läuft“.

Als Nächstes wollen die Forschenden UQ-DAAAM nutzen, um andere Robotertypen zu steuern, etwa mobile Roboter mit Manipulatoren, und die Unsicherheitsverfahren auf andere Bereiche übertragen. Sie untersuchen außerdem, wie das System Bereiche mit hoher Unsicherheit erkennen könnte, die ein Roboter erneut aufsuchen könnte, und erkunden die Unsicherheitsquantifizierung in Systemen, die den künftigen Zustand der Roboterumgebung vorhersagen.

Die Arbeit wird auf der Conference on Neural Information Processing Systems vorgestellt. Zhang und Nicolas Gorlo, beide Doktoranden am MIT, sind Co-Hauptautoren. Die Forschung wird teilweise vom U.S. Army Research Laboratory und vom U.S. Office of Naval Research unterstützt.

Was das für Nutzer bedeuten könnte

Dem MIT zufolge könnte die Methode Haushalts- oder Industrieroboter langfristig besser für komplexe, mehrstufige Aufgaben machen, etwa einen Esstisch abzuräumen oder gemeinsam mit menschlichen Kollegen eine Maschine zusammenzubauen. Carlone argumentiert, dass bei physischer KI ein Hinweis, der Roboter könne sich irren, nicht ausreiche. „Einem Roboter zu ermöglichen, zu wissen, was er nicht weiß, wird entscheidend sein, damit diese Technologie sicher eingesetzt werden kann und positive Wirkung auf die Gesellschaft hat“, sagt er.