MIT-Forscher passt Ai2s Molmo 2 an, um Lachse in Sonarvideos zu verfolgen

Warum die Fischverfolgung einen besseren Ansatz braucht

Kai Van Brunt, Absolvent des MIT (Jahrgang 2025), arbeitet an Computer Vision für die Ökologie. Das Projekt führte er als Gaststudent im BeeryLab des MIT bei Sara Beery durch, Assistant Professor für Elektrotechnik und Informatik am MIT. Seine Forschung konzentriert sich auf bessere Methoden, Lachse anhand von Sonarvideos unter Wasser zu zählen. Laut Ai2 helfen diese Zählungen dabei, Veränderungen in Lachsbeständen zu verstehen, und fließen in Naturschutz und Fischereimanagement ein.

Um die Zahlen richtig zu erfassen, müssen einzelne Fische durch das Videomaterial verfolgt werden, was von Hand sehr viel Zeit kostet. Computer Vision kann die Menge an Videomaterial verringern, die Forschende sichten müssen, doch auch Tracking-Systeme machen Fehler. Sie können einen Fisch aus den Augen verlieren, "vergessen", welcher Fisch welcher ist, oder von einem Fisch zum anderen springen. Diese Fehler zu beheben kann bedeuten, Vorhersagen über viele Einzelbilder hinweg manuell zu korrigieren.

Van Brunt fragte sich, ob Forschende stattdessen beschreiben könnten, was an einer Vorhersage falsch war, und das Modell sie dann automatisch korrigiert. Aus dieser Idee wurde Molmo2Fish.

Aufbauend auf Molmo 2

Ai2 hat Molmo 2 als offenes Vision-Language-Modell für Bilder und Videos veröffentlicht und Modell, Code und Trainingsdaten frei zugänglich gemacht. Laut Ai2 kann Molmo 2 einer bestimmten Figur oder einem Objekt durch ein Video folgen, etwas anhand einer sprachlichen Beschreibung identifizieren und über zeitliche Abläufe schlussfolgern.

Sonaraufnahmen sehen völlig anders aus als die Videos, aus denen Molmo 2 ursprünglich gelernt hat. Dennoch wusste das Modell bereits, wie man einem Ziel durch ein Video folgt und anhand von Sprache auswählt, welchem. Van Brunt hatte bemerkt, dass sich Fische besser unterscheiden lassen, wenn man sie in Bewegung sieht, als wenn man ein einzelnes Bild betrachtet. Er probierte mehrere Modelle zur Objekterkennung in Videos aus, doch keines übertraf die Basislinie auf Einzelbildern.

Molmo 2 konnte einen ganzen Clip verarbeiten und direkt Tracks ausgeben, sodass das Training auf die Tracking-Aufgabe keinen separaten Erkennungsschritt benötigte. "Molmo 2 war das erste Modell, mit dem wir Multi-Object-Tracking unkompliziert als Aufgabe betrachten konnten, die ein Modell direkt lernen kann", sagt Van Brunt. Er brauchte nach eigener Aussage ein offenes Modell, das Sprache, räumlich-zeitliche Beziehungen und Tracking versteht und klein genug zum Feintuning ist.

Tracks mit einfacher Sprache korrigieren

Nach dem Feintuning auf Lachsvideos schnitt Molmo2Fish vor etwaigen Korrekturen ungefähr so gut ab wie ein spezialisiertes Fisch-Tracking-System, wobei die Ergebnisse je nach Fluss variierten.

Anschließend trainierte Van Brunt das Modell darauf, auf Nutzerfeedback zu reagieren. Das Modell sah Beispiele aus einer ersten Vorhersage, einer Anweisung, wie sie sich ändern sollte, und dem korrigierten Ergebnis. Forschende konnten sagen, dass Molmo2Fish einen Fisch übersehen oder zwei getrennte Fische als einen behandelt hatte, und dann um eine automatische Korrektur bitten.

Besonders gut funktionierte das, wenn Molmo2Fish Vorhersagen eines herkömmlichen Fisch-Tracking-Systems erhielt. Beide machten tendenziell unterschiedliche Fehler, sodass Molmo2Fish manche Fehler des anderen Systems beheben konnte. Die Experimente zeigten auch Grenzen auf: Das Modell konnte einige Fehler bei klaren Anweisungen korrigieren, tat sich aber schwer damit, seine eigenen stärksten Vorhersagen zu verbessern.

Was die offene Veröffentlichung möglich machte

Die ursprünglichen Trainingsdaten von Molmo 2 nutzte Van Brunt letztlich nicht, um Molmo2Fish zu bauen. Dennoch half ihm die Möglichkeit, sie einzusehen, zu verstehen, was das Modell bereits gelernt hatte, und zu entscheiden, wie er seine eigenen Daten aufbereitet. Der Zugang zum Code erleichterte es, Molmo 2 an eine völlig andere Art von Video anzupassen.

Van Brunt bezeichnet Molmo2Fish als ersten Schritt hin zu einem Modell, das zuverlässig genug für den praktischen Einsatz ist. Nun will er untersuchen, wie Modelle, die sowohl Video als auch Sprache verarbeiten, Forschenden helfen könnten, Muster zu finden und zu beschreiben, während sich ihre Fragen ändern. "Allgemein möchte ich weiter an maschinellem Lernen auf Videodaten forschen, und ich möchte KI nutzen, um die Natur zu verstehen und zu schützen", sagt er.