Penn-Ingenieure entwickeln F³, eine gemeinsame Softwareschicht für Ereigniskameras

Warum Ereigniskameras bisher schwer nutzbar waren

Ereigniskameras ahmen die biologische Netzhaut nach. Statt in regelmäßigen Abständen vollständige Bilder aufzunehmen, etwa 30 Bilder pro Sekunde, reagieren sie fortlaufend auf Änderungen der Lichtintensität. Laut Penn Engineering verspricht das seit Langem eine schnellere und zuverlässigere Wahrnehmung für Roboter, als herkömmliche Kameras sie ermöglichen.

Das Problem sind die Daten. Sie wirken wie ein Strom von Punkten und nicht wie eine Folge erkennbarer Bilder. Ihre Auswertung erforderte bislang einen Flickenteppich aus spezialisierten Algorithmen, die jeweils für eine einzige Aufgabe gebaut sind. Pratik Chaudhari, Associate Professor für Elektro- und Systemtechnik und Seniorautor der Studie, sagt, ohne die Möglichkeit, "redundante Informationen zu entfernen", seien die Daten einer Ereigniskamera "viel zu verrauscht und umfangreich, um sie direkt zu verwenden".

Richeek Das, Doktorand und Erstautor der Studie, verweist auf den biologischen Vergleich: Die Netzhaut besitzt neben Stäbchen und Zapfen weitere Zellen, die Bewegung und Farbe erkennen oder redundante Informationen unterdrücken, während es für Ereigniskameras bislang kein allgemeines Gegenstück gab.

Ein Netzwerk lernt, vorherzusagen

Zunächst probierte das Team mathematische Verfahren zur Zusammenfassung visueller Informationen aus, in der Hoffnung, das Äquivalent der Fast Fourier Transform für Ereigniskameras zu entwickeln. Nach monatelangen Experimenten fanden die Forschenden keinen Ansatz, der zuverlässig von der gewaltigen Informationsrate der Kamera zu einem Bild des Aufbaus einer Szene und der darin stattfindenden Bewegung führte.

Dann trainierten sie ein neuronales Netz, das selbst einen Weg finden sollte, die Signale zusammenzufassen, mit Vorhersage als Trainingsziel. "Um zukünftige Ereignisse anhand vergangener genau vorherzusagen, muss das Netz lernen, sowohl die Struktur einer Szene als auch die darin ablaufende Bewegung abzubilden", sagt Das. So lässt sich vermeiden, für jede Aufgabe einen eigenen Ansatz entwerfen zu müssen.

Die erste Implementierung war für den Echtzeiteinsatz zu langsam. Die Forschenden stellten fest, dass rund 95 Prozent der möglichen Positionen in den Daten überhaupt keine Ereignisse enthalten, und strukturierten die Berechnungen deshalb so um, dass sie nur dort laufen, wo tatsächlich Ereignisse auftreten.

Ergebnisse bei Autos, Laufrobotern und Drohnen

Die Forschenden testeten F³ bei Objekterkennung, Entfernungsschätzung und Bewegungsverfolgung, mit Daten von Autos, vierbeinigen Robotern und fliegenden Drohnen. Die Umgebungen reichten von nächtlichen Straßen in der Stadt bis zu überfüllten Innenräumen. Nach Angaben des Teams erzielten auf F³ basierende Ansätze bei mehreren Wahrnehmungsaufgaben der Robotik Spitzenleistungen auf dem Stand der Technik.

Algorithmen mit F³ waren etwa zwei- bis fünfmal schneller als frühere Ansätze. F³ selbst verarbeitete hochauflösende Ereigniskameradaten 120-mal pro Sekunde, bei der niedrigeren VGA-Auflösung (Video Graphics Array) sogar 440-mal pro Sekunde.

Penn stellt diese Vielseitigkeit Ace von Sony AI gegenüber, einem Tischtennis spielenden Roboter, der Anfang des Jahres vorgestellt wurde und mit Ereigniskameras Tempo und Drall eines Balls erfasst. Sein Bildverarbeitungssystem wurde eigens für Tischtennis entwickelt, was zeigt, dass für jede Anwendung maßgeschneiderte Software nötig ist. Kostas Daniilidis, Mitautor der Studie, sagt, F³ gebe Ereigniskameras "eine gemeinsame Sprache" und überführe ihre Signale in ein Format, an das sich bereits für herkömmliche Kameras entwickelte Software anpassen lasse.

Wie es weitergeht

Das Team nutzt F³ bereits, um gemeinsam mit den Doktoranden Dexter Ong und Ioannis Asmanis autonome Drohnen zu bauen, die mit Ereigniskameras in unübersichtlichen und schlecht beleuchteten Umgebungen navigieren können. Daniilidis sagt, F³ sei "zu einem Schlüsselbestandteil unserer Pipeline geworden".

Langfristig wollen die Forschenden F³ direkt in die Schaltkreise von Ereigniskameras integrieren, wo es wie ein Kameratreiber arbeiten und die Rohsignale automatisch in ein Format umwandeln könnte, das vorhandene Computer-Vision-Software nutzen kann. "Unser Ziel ist es, die Verwendung einer Ereigniskamera so unkompliziert zu machen wie die einer herkömmlichen", sagt Chaudhari.

Funktioniert das wie beschrieben, müssten Entwickler Software nicht mehr jedes Mal neu schreiben, wenn ein Roboter eine neue Aufgabe übernimmt. Das könnte Ereigniskameras für Plattformen wie selbstfahrende Autos und Drohnen praxistauglich machen. Die Studie wurde unter anderem von der National Science Foundation und dem Internet of Things for Agriculture Engineering Research Center gefördert.