Aktionserkennung schlägt Tracking bei kleinen, schnellen Videobewegungen

Die Aktionserkennung schnitt in den Tests von Roboflow bei schnellen, subtilen Bewegungen am besten ab. Erkennung und Tracking oder vortrainierte Keypoints eigneten sich dagegen besser für sichtbare Objekte und Körperhaltungen. Der Vergleich umfasste einen F1-Boxenstopp, Basketball und Trainingswiederholungen anhand zurückgehaltener Videoclips.
- Die Aktionserkennung erzielte im F1-Boxenstopp-Test 62 Punkte, verglichen mit 49 für die Erkennung.
- Die Aktionserkennung erkannte alle 5 getesteten Basketball-Dribblings.
- Keypoints und Tracking erzielten bei Trainingswiederholungen 96 Punkte.
- Das Aktionsmodell für den Boxenstopp verbesserte sich durch die Videoabtastung mit 8 fps.
- Roboflow empfiehlt, die Methode anhand der jeweiligen Frage zum Video auszuwählen.
Drei Aufgaben, drei unterschiedliche Gewinner
Roboflow entwickelte für dieselben drei Aufgaben Systeme zur Aktionserkennung sowie Tracking-basierte Systeme und bewertete sie anschließend anhand zurückgehaltener Clips. Die Modelle zur Aktionserkennung analysierten Videoclips, um zu bestimmen, was wann passiert ist. Die Alternative nutzte Objekterkennung oder Keypoints, Tracking und Regeln.
Die Aktionserkennung gewann den F1-Boxenstopp-Test mit einem Segment-F1-Wert von 62, verglichen mit 49 für die Erkennung. Auch im Basketball lag sie mit 56 zu 38 vor der Erkennung. Bei Trainingswiederholungen erzielten Keypoints und Tracking 96, die Aktionserkennung kam auf 56.
Roboflow zufolge reichen die Werte von 0 bis 100. Eine Vorhersage wurde gewertet, wenn sie das richtige Label hatte und sich mindestens zur Hälfte mit der tatsächlichen Aktion überschnitt.
Warum kleine Bewegungen die Aktionserkennung begünstigten
Der F1-Boxenstopp dauert etwa drei Sekunden und umfasst sechs Schritte. Der Wagenheber hebt das Auto in etwa einer Viertelsekunde um einige Zentimeter an, während Crewmitglieder seine Sicht verdecken können. Das Erkennungs- und Tracking-System erkannte keinen einzigen Schritt mit dem Wagenheber, weil sich die Box des Autos kaum bewegte und der Wagenheber verdeckt war.
Auch die erste Version der Aktionserkennung verpasste die Bewegung, weil sie das Video mit 4 Bildern pro Sekunde abtastete. Roboflow trainierte dasselbe Modell mit 8 fps erneut und änderte sonst nichts. Das aktualisierte System wurde dadurch insgesamt zum besten Boxenstopp-System. Für sichtbare Ereignisse, etwa die Frage, ob der ursprüngliche Reifen noch am Auto montiert war, blieb Tracking jedoch effektiver.
Beim Basketball zeigte sich ein ähnliches Muster. Ein regelbasiertes System erkannte 1 von 5 Dribblings, während die Aktionserkennung alle 5 erfasste. Das Aktionsmodell lernte außerdem verwandelte Würfe anhand von 13 Trainingsbeispielen, ohne den Ball oder den Korb während des gesamten Ereignisses lokalisieren zu müssen.
Keypoints bewältigten Trainingswiederholungen
Für Trainingseinheiten nutzte Roboflow ein vortrainiertes RF-DETR-Keypoint-Modell ohne Feinabstimmung. Es lieferte 17 Punkte pro Person und ermöglichte es Regeln, Übungen anhand der Körpergeometrie zu erkennen. Ein Liegestütz wurde definiert, wenn sich der Oberkörper um mehr als 40° aus der Vertikalen neigte. Ein Hampelmann wurde erkannt, wenn die Handgelenke über die Schultern stiegen. Kniebeugen und Ausfallschritte wurden gezählt, wenn sich die Hüfte absenkte. Unterschiedliche Kniehöhen unterschieden dabei einen Ausfallschritt.
Diese Regeln zählten ohne jegliches Training jede Wiederholung. Die Aktionserkennung identifizierte die Übung nahezu perfekt, fasste jedoch zehn Hampelmänner zu einem langen Segment zusammen und konnte Wiederholungen daher nicht allein zählen. Roboflow empfiehlt Keypoints für Fragen zur Körperhaltung, Tracking für sichtbare Objekte und Positionen sowie Aktionserkennung für Bewegungen, die sich über mehrere Bilder hinweg entwickeln.
Für die Aktionserkennung empfiehlt das Unternehmen, Dutzende Clips pro Aktion zu labeln, die Videoabtastrate bei Aktionen mit einer Dauer von höchstens einer Sekunde zu erhöhen und einen Zähler hinzuzufügen, wenn Wiederholungen benötigt werden. Die Tests von Roboflow deuten außerdem darauf hin, dass ein praktisches System verschiedene Methoden kombinieren kann, etwa Reifen per Tracking zu verfolgen und für die Bewegungen des Wagenhebers beim Boxenstopp die Aktionserkennung einzusetzen.
Roboflow: Action Recognition vs. Detection + Tracking: When to Use Which


