Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Aktions­erkennung schlägt Tracking bei kleinen, schnellen Videobewegungen

18. November 2026, 23:22Von der KI Nachrichten RedaktionQuelle: Roboflow
Aktions­erkennung schlägt Tracking bei kleinen, schnellen Videobewegungen
Bild: Roboflow

Die Aktions­erkennung schnitt in den Tests von Roboflow bei schnellen, subtilen Bewegungen am besten ab. Erkennung und Tracking oder vortrainierte Keypoints eigneten sich dagegen besser für sichtbare Objekte und Körperhaltungen. Der Vergleich umfasste einen F1-Boxenstopp, Basketball und Trainingswiederholungen anhand zurückgehaltener Videoclips.

Das Wichtigste in Kürze
  • Die Aktions­erkennung erzielte im F1-Boxenstopp-Test 62 Punkte, verglichen mit 49 für die Erkennung.
  • Die Aktions­erkennung erkannte alle 5 getesteten Basketball-Dribblings.
  • Keypoints und Tracking erzielten bei Trainingswiederholungen 96 Punkte.
  • Das Aktionsmodell für den Boxenstopp verbesserte sich durch die Videoabtastung mit 8 fps.
  • Roboflow empfiehlt, die Methode anhand der jeweiligen Frage zum Video auszuwählen.

Drei Aufgaben, drei unterschiedliche Gewinner

Roboflow entwickelte für dieselben drei Aufgaben Systeme zur Aktions­erkennung sowie Tracking-basierte Systeme und bewertete sie anschließend anhand zurückgehaltener Clips. Die Modelle zur Aktions­erkennung analysierten Videoclips, um zu bestimmen, was wann passiert ist. Die Alternative nutzte Objekterkennung oder Keypoints, Tracking und Regeln.

Die Aktions­erkennung gewann den F1-Boxenstopp-Test mit einem Segment-F1-Wert von 62, verglichen mit 49 für die Erkennung. Auch im Basketball lag sie mit 56 zu 38 vor der Erkennung. Bei Trainingswiederholungen erzielten Keypoints und Tracking 96, die Aktions­erkennung kam auf 56.

Roboflow zufolge reichen die Werte von 0 bis 100. Eine Vorhersage wurde gewertet, wenn sie das richtige Label hatte und sich mindestens zur Hälfte mit der tatsächlichen Aktion überschnitt.

Warum kleine Bewegungen die Aktions­erkennung begünstigten

Der F1-Boxenstopp dauert etwa drei Sekunden und umfasst sechs Schritte. Der Wagenheber hebt das Auto in etwa einer Viertelsekunde um einige Zentimeter an, während Crewmitglieder seine Sicht verdecken können. Das Erkennungs- und Tracking-System erkannte keinen einzigen Schritt mit dem Wagenheber, weil sich die Box des Autos kaum bewegte und der Wagenheber verdeckt war.

Auch die erste Version der Aktions­erkennung verpasste die Bewegung, weil sie das Video mit 4 Bildern pro Sekunde abtastete. Roboflow trainierte dasselbe Modell mit 8 fps erneut und änderte sonst nichts. Das aktualisierte System wurde dadurch insgesamt zum besten Boxenstopp-System. Für sichtbare Ereignisse, etwa die Frage, ob der ursprüngliche Reifen noch am Auto montiert war, blieb Tracking jedoch effektiver.

Beim Basketball zeigte sich ein ähnliches Muster. Ein regelbasiertes System erkannte 1 von 5 Dribblings, während die Aktions­erkennung alle 5 erfasste. Das Aktionsmodell lernte außerdem verwandelte Würfe anhand von 13 Trainingsbeispielen, ohne den Ball oder den Korb während des gesamten Ereignisses lokalisieren zu müssen.

Keypoints bewältigten Trainingswiederholungen

Für Trainingseinheiten nutzte Roboflow ein vortrainiertes RF-DETR-Keypoint-Modell ohne Feinabstimmung. Es lieferte 17 Punkte pro Person und ermöglichte es Regeln, Übungen anhand der Körpergeometrie zu erkennen. Ein Liegestütz wurde definiert, wenn sich der Oberkörper um mehr als 40° aus der Vertikalen neigte. Ein Hampelmann wurde erkannt, wenn die Handgelenke über die Schultern stiegen. Kniebeugen und Ausfallschritte wurden gezählt, wenn sich die Hüfte absenkte. Unterschiedliche Kniehöhen unterschieden dabei einen Ausfallschritt.

Diese Regeln zählten ohne jegliches Training jede Wiederholung. Die Aktions­erkennung identifizierte die Übung nahezu perfekt, fasste jedoch zehn Hampelmänner zu einem langen Segment zusammen und konnte Wiederholungen daher nicht allein zählen. Roboflow empfiehlt Keypoints für Fragen zur Körperhaltung, Tracking für sichtbare Objekte und Positionen sowie Aktions­erkennung für Bewegungen, die sich über mehrere Bilder hinweg entwickeln.

Für die Aktions­erkennung empfiehlt das Unternehmen, Dutzende Clips pro Aktion zu labeln, die Videoabtastrate bei Aktionen mit einer Dauer von höchstens einer Sekunde zu erhöhen und einen Zähler hinzuzufügen, wenn Wiederholungen benötigt werden. Die Tests von Roboflow deuten außerdem darauf hin, dass ein praktisches System verschiedene Methoden kombinieren kann, etwa Reifen per Tracking zu verfolgen und für die Bewegungen des Wagenhebers beim Boxenstopp die Aktions­erkennung einzusetzen.

Ähnliche Meldungen

EPFL-Rahmenwerk nutzt Scans und KI für bessere Inspektionen von Stahlinfrastruktur
Forschung16. November 2026, 08:31

EPFL-Rahmenwerk nutzt Scans und KI für bessere Inspektionen von Stahlinfrastruktur

Forschende der EPFL haben ein automatisiertes Inspektionsverfahren entwickelt, das 3D-Laserscans, Computersimulationen und KI-Modelle kombiniert. Damit sollen…

Roboflow fügt Videospiegelung von S3, GCS und Azure hinzu
Produkte und Tools12. November 2026, 20:57

Roboflow fügt Videospiegelung von S3, GCS und Azure hinzu

Roboflow hat seiner Datasources-Funktion die Videospiegelung von AWS S3, S3-kompatiblem Speicher, Google Cloud Storage und Azure Blob Storage hinzugefügt. Teams können…

Roboflow ergänzt Aktions­erkennung für videobasierte Workflow-Analyse
Produkte und Tools11. November 2026, 14:19

Roboflow ergänzt Aktions­erkennung für videobasierte Workflow-Analyse

Roboflow unterstützt jetzt die Aktionserkennung. Teams können damit Vision-Modelle trainieren und bereitstellen, die Aktionen in Videos erkennen und eine Zeitleiste mit…