Encord veröffentlicht EMG-1: größter offener Datensatz, der Muskelsignale mit Roboter-KI verknüpft

Was EMG-1 enthält

EMG-1 entstand in Zusammenarbeit mit Wearable Devices. Dabei kommen Armbänder zum Einsatz, die die Muskelsignale im Unterarm auslesen, die hinter jeder Fingerbewegung stehen. Die Technik heißt Elektromyografie (EMG). So erfasst der Datensatz, was eine Hand tut, selbst wenn sie nicht zu sehen ist.

Die Aufnahmen entstanden bei realen Aufgaben und sind mit optischem Motion Capture synchronisiert. Forschende können den Datensatz unter encord.com/data-labs herunterladen.

Wo Kameras an ihre Grenzen stoßen

Encord erklärt, dass autonome Roboter den Umgang mit Objekten lernen, indem sie mit realen Videos von Menschen trainieren, die Aufgaben erledigen. Das Problem: Kameras verlieren Hände aus dem Blick, wenn diese verdeckt sind, meist durch den Gegenstand, den sie gerade handhaben.

EMG dient dazu, dort präzise Handpose-Labels für Trainingsdaten zu erzeugen, wo die Kamera versagt, da es fortlaufend die elektrische Aktivität aufzeichnet, die jeden Finger steuert. Zusammen mit Egoperspektive-Video ergeben die beiden Datenströme eine vollständige Aufzeichnung einer Bewegung, dazu Signale wie Kraft und Kontakt, die eine Kamera nicht erfassen kann.

In Encords Experimenten verringerte die Kombination aus EMG und Video den Fehler beim Fingerspitzen-Tracking um 25 % gegenüber reinem Video und führte bei kurzen Lücken im visuellen Tracking zu 35 % geringeren Fehlern. Auch allein erkannte EMG pinzettenartige Fingerbewegungen.

Encord Data Labs und weitere Veröffentlichungen

EMG-1 startete zusammen mit Encord Data Labs, einer neuen Forschungsabteilung für die Entwicklung von Physical-AI-Daten. Laut Encord umfasst sie die Bereiche Applied Research & Automation, Advanced Data Capture und Partnerships. EMG gilt als das erste von mehreren biologischen Signalen, die das Labor in Trainingsdaten für Roboter einbringen will. Zudem untersucht es, wie sich mit Hirnsignalen (EEG) der mentale Zustand eines Bedieners, etwa Zufriedenheit oder Fehlerreaktion, kennzeichnen lässt und wie damit Roboter-Policies gesteuert werden können.

Zwei weitere Veröffentlichungen kamen zusammen mit dem Datensatz:

• Encord-REACH: ein Handtracking-Modell für reale Bedingungen, zugeschnitten auf industrielle Umgebungen mit Handschuhen, verdeckten Fingern, schnellen Bewegungen und mehreren Händen im Bild. In Encords Evaluierungen senkte es Tracking-Fehler an den Handgelenken um 80 %, an den Gelenken um 65 % und bei Industriehandschuhen um bis zu 70 %. Zudem beseitigte es versehentliche Verwechslungen mit den Händen umstehender Personen, die bei konkurrierenden Modellen im Schnitt in 27 % der Fälle auftraten.
• Erkenntnisse zu synthetischen Daten mit NVIDIA und ANYbotics: Die Unternehmen erzeugten mit NVIDIA-Cosmos-3-Modellen synthetische Beispiele für seltene industrielle Anomalien, darunter verschüttete Flüssigkeiten. Laut Mitteilung verbesserten synthetische Daten den Recall bei realen Anomalien um bis zu 24 % und steigerten die für die Modellkalibrierung verfügbaren Beispiele um das 2,2-Fache.

In den kommenden Monaten will Encord weitere Ergebnisse vorlegen: eine automatisierte Aktionssegmentierung für Egoperspektive-Video, einen Benchmark führender Vision-Language-Modelle, der zeigt, wo KI-generierten Videountertiteln für Physical AI noch nicht zu trauen ist, sowie von Experten gelabelte Sensordaten für die Physical-World-Modelle von Archetype AI.

Was das für Robotik-Teams bedeutet

Eric Landau, Mitgründer und Co-CEO von Encord, sagte, die „Leistung realer Modelle hängt von den Daten ab, die hineinfließen“, und bezeichnete EMG-1 sowie das neue Handtracking-Modell als Lösung für „eines der größten Probleme, vor denen Robotik-Teams heute stehen“. Encord arbeitet nach eigenen Angaben mit Hunderten Unternehmen der Branche zusammen, darunter Toyota, Boston Dynamics und Zipline.

Die Forschung der Abteilung ist in Encords Physical-AI-Dateninfrastruktur integriert, die menschliche Daten mit Video synchronisiert, sodass sie direkt kuratiert, verbessert und für das Training genutzt werden können. Kunden können eigene Teams einbinden, um Trainingsdaten zu erzeugen und anzureichern, oder mit Encords Experten arbeiten. Die Ankündigung erfolgte auf Encords erstem Long Horizon Summit in San Francisco, wo Data Labs EMG-1 und sein Handtracking-Modell live vorführte.

Für Forschende bietet die offene Veröffentlichung eine öffentliche Ressource, um mit Handbewegungen zu trainieren, die Kameras allein nicht sehen. Die Leistungszahlen stammen aus Encords eigenen Experimenten und Evaluierungen.