Roboflow ergänzt Aktionserkennung für videobasierte Workflow-Analyse
Roboflow unterstützt jetzt die Aktionserkennung. Teams können damit Vision-Modelle trainieren und bereitstellen, die Aktionen in Videos erkennen und eine Zeitleiste mit Start- und Endzeitpunkten ausgeben. Nach Angaben des Unternehmens lässt sich aufgezeichnetes Videomaterial so in strukturierte Daten darüber umwandeln, was wann und in welcher Reihenfolge passiert ist.
- Roboflow unterstützt jetzt das Training und die Bereitstellung von Modellen zur Aktionserkennung.
- Unterstützte Modelle sind Cosmos 3 Edge und V-JEPA 2.1.
- Die Modelle liefern Aktionszeitleisten mit Start- und Endzeitpunkten.
- V-JEPA 2.1 erzielte bei allen drei von Roboflow getesteten Datensätzen höhere Werte.
- Die Ausgaben können Compliance-Prüfungen, Zyklusanalyse, Warnmeldungen und Automatisierung unterstützen.
Von Videoclips zu Aktionszeitleisten
Die Aktionserkennung ist für Aufgaben gedacht, bei denen der Zeitpunkt und die Reihenfolge eine Rolle spielen. Roboflow zufolge können Teams damit prüfen, ob ein Roboter jeden Schritt eines Programms abgeschlossen hat, ob ein Boxencrew-Team jede Phase eines Boxenstopps befolgt hat oder ob ein Turner die Elemente einer Übung in der richtigen Reihenfolge ausgeführt hat.
Das Unternehmen nennt mehrere Einsatzbereiche in der Produktion, darunter die Einhaltung von Standardarbeitsanweisungen, die Messung von Zykluszeiten, Kommissionierung, Verpackung, Umrüstungen und Robotik. Ein Modell kann einen Clip markieren, wenn ein Schritt fehlt, die Dauer jedes Schritts messen, Wiederholungen in einem Roboterprogramm erkennen und bereits vorhandene Aufzeichnungen beschriften. Die Ausgabe kann außerdem zur Analyse, für Warnmeldungen oder zur Automatisierung an ein anderes System übermittelt werden.
Im Gegensatz zur Objekterkennung, die untersucht, was in einem einzelnen Einzelbild vorhanden ist, analysiert die Aktionserkennung ein Fenster aus mehreren Bildern, um Bewegungen im Zeitverlauf zu erfassen.
Zwei unterstützte Modelle und drei Testdatensätze
Roboflow unterstützt Cosmos 3 Edge und V-JEPA 2.1. Beide Modelle verarbeiten Videos in 16-Sekunden-Fenstern. Sie beschriften die Momente in jedem Fenster und führen die Ergebnisse anschließend zu einer Zeitleiste für längere Clips zusammen.
V-JEPA 2.1 ist ein Video-Encoder von Meta. Roboflow beschreibt ihn als die kleinere und schneller zu trainierende Option, die für jede Aktion einen Konfidenzwert ausgibt. Cosmos 3 Edge ist ein Videosprachmodell von NVIDIA, das mehr Kontext zu Bewegung und Zeit berücksichtigt. Dadurch kann es Schritte unterscheiden, die in einem einzelnen Einzelbild ähnlich aussehen.
Roboflow trainierte beide Modelle mit drei öffentlichen Datensätzen und bewertete sie anhand von Testvideos, die nicht für das Training verwendet wurden. V-JEPA 2.1 erzielte bei jedem Datensatz eine höhere Genauigkeit: 99.7% gegenüber 96.8% für Cosmos 3 Edge bei der Roboter-Manipulation, 92.8% gegenüber 72.1% bei der Robotermontage und 87.3% gegenüber 80.0% bei der Montage von Getriebezügen.
Nach Angaben von Roboflow setzte Cosmos 3 Edge die Grenzen zwischen Aktionen häufig präziser, was wichtig sein kann, wenn es auf das genaue Timing ankommt. Das Unternehmen weist außerdem darauf hin, dass die Ergebnisse mit den eigenen Daten eines Kunden abweichen werden.
Workflow für Training und Bereitstellung
Die Nutzer erstellen ein Action-Recognition-Projekt, laden Videos hoch und markieren Zeitbereiche im Annotation-Editor. Roboflow empfiehlt, Trainingsclips mit demselben Kamerawinkel und derselben Beleuchtung wie in der Produktion aufzunehmen und die vollständige Aufgabe zu zeigen. Außerdem sollten wiederholte Schritte, die direkt hintereinander stattfinden, als ein Segment beschriftet werden. Bei den Daten zum Getriebezug erhöhte dies laut Roboflow die Genauigkeit von 59.8% auf 83.4%.
Anschließend können die Nutzer eine Dataset-Version erstellen, Cosmos 3 Edge oder V-JEPA 2.1 auswählen und vor dem Training ein Kreditlimit festlegen. V-JEPA 2.1 befindet sich bei kostenpflichtigen Tarifen in der Beta-Phase. Roboflow zufolge erreichte der Lauf mit dem Getriebezug und V-JEPA 2.1 nach etwa 8 Stunden eine Genauigkeit von 87.3%, während Cosmos 3 Edge nach etwa 12 Stunden 80.0% erzielte.
Die Modelle lassen sich über das SDK von Roboflow testen, über einen Workflow mit Livekameras verbinden oder mit Roboflow Inference auf den eigenen GPUs ausführen. Für den Produktionseinsatz empfiehlt Roboflow, die längste Aktion in ein 16-Sekunden-Fenster einzupassen, bei Livestreams die Schrittweite zu verringern, wenn engere Zeitstempel benötigt werden, und die vollständige Sequenz statt isolierter Schritte zu überprüfen.
