Ai2 veröffentlicht PLANTEUR: Benchmark zur Kartierung von Anbaukulturen auf tropischen Agrarflächen

Was PLANTEUR abdeckt

PLANTEUR umfasst sechs französische Überseegebiete in der Karibik, in Südamerika und im Indischen Ozean: Réunion, Guadeloupe, Martinique, Guyane, Mayotte und Saint-Martin. Ai2 hat den Datensatz auf derselben Datenquelle aufgebaut wie PASTIS, dem französischen Flächenidentifizierungssystem (Land Parcel Identification System).

Das Format ähnelt dem von PASTIS stark, damit sich PLANTEUR leicht in bestehende Evaluierungspipelines einbinden lässt. Laut Ai2 enthält der Datensatz:

• 2.750 aufeinander abgestimmte Zeitreihen von Sentinel-2, Sentinel-1 und Landsat-8
• 4.506 km² an Labels, die aus Parzellendaten abgeleitet wurden
• sieben Kulturklassen, darunter Zuckerrohr, Banane, Ananas und tropische Knollenfrüchte, eine Gruppe, die Wurzelfrüchte wie Maniok, Yams und Taro umfasst

Warum ein Benchmark für die Tropen

Ai2 weist darauf hin, dass Foundation-Modelle und offene Daten den Fortschritt beim maschinellen Lernen für die Fernerkundung rasch vorantreiben und dass Benchmarks zeigen, wie stark sich Modelle tatsächlich verbessern. PASTIS gilt wegen seiner hochwertigen Labels und Geodaten-Metadaten als einer der vertrauenswürdigsten Benchmarks der Community. Seine Abdeckung beschränkt sich jedoch auf das französische Festland.

Die Kartierung von Anbaukulturen ist laut Ai2 der Ausgangspunkt für die Planung der Ernährungssicherheit, die Wasserverteilung und die Beobachtung von Veränderungen auf Agrarflächen. Die Organisation möchte, dass Teams, die geräumliche Foundation-Modelle entwickeln, überprüfen können, ob ihre Modelle in Agrarsystemen funktionieren, in denen Kartierung den größten Nutzen stiften könnte: kleinbäuerlich geprägt, tropisch und topografisch komplex.

Baselines und erste Ergebnisse

Ai2 liefert Baseline-Werte für mehrere lineare Probes und überwachte Methoden. Sie werden für verschiedene Setups angegeben: einen Standard-Split, einen Leave-one-island-out-Split, ein Few-Shot-Setup sowie ein Setup, bei dem PASTIS-Beispiele zu den Trainingsdaten hinzukommen.

Laut Ai2 bringen diese Baselines neue Herausforderungen mit sich: gute Leistungen in den Tropen, Generalisierung auf unbekannte Regionen, Lernen aus knappen Labels und der Wissenstransfer zwischen Agrarsystemen.

Die Ergebnisse zeigen eine deutliche Lücke. Ai2 zufolge schneidet jede evaluierte Methode, die eigene eingeschlossen, auf PLANTEUR deutlich schlechter ab als auf PASTIS. Zudem verliere jedes Modell etwa die Hälfte seiner Genauigkeit, wenn es auf einer Insel getestet wird, die es im Training nie gesehen hat.

Was das für Modellentwickler bedeutet

Der Benchmark gibt Entwicklern von Fernerkundungsmodellen die Möglichkeit, die Kartierung von Anbaukulturen in deutlich mehr Regionen als bisher zu testen. Ai2 hofft, dass PLANTEUR für tropische Kontexte das leistet, was PASTIS für das französische Festland geleistet hat, und die Community dazu anspornt, leistungsstarke Methoden dafür zu entwickeln.

Der große Einbruch auf unbekannten Inseln deutet darauf hin, dass aktuelle Ansätze noch weit davon entfernt sind, sich zuverlässig zwischen tropischen Regionen übertragen zu lassen. PLANTEUR ist auf Hugging Face und GitHub verfügbar, zudem verlinkt Ai2 zur Veröffentlichung einen technischen Bericht.