NEC entwickelt VLM-Technik, die kleine Katastrophenschäden erkennt und neue Schadensarten dazulernt
NEC hat zwei Technologien für Vision-Language-Modelle (VLM) entwickelt, die kleinteilige Schäden auf Bildern von Katastrophenorten erkennen und es erlauben, neue Schadensarten hinzuzufügen, ohne dass die bisherige Erkennungsleistung verloren geht. Laut NEC verkürzte sich in der Verifikation die Zeit zur Identifizierung bestimmter Katastrophenlagen von rund 7 Stunden bei Sichtprüfung auf unter eine Stunde.
- NEC und das Okatani Laboratory der Tohoku-Universität haben zwei VLM-Technologien für die Analyse von Katastrophenbildern entwickelt.
- Laut NEC werden Bereiche von höchstens 10 % eines Bildes so genau erkannt, wie herkömmliche VLMs Bereiche von etwa 30 bis 40 % bewältigen.
- In NECs Test mit 5.035 Erdbebenbildern sank die Zahl der von Menschen zu prüfenden Bilder auf durchschnittlich 544, der Prüfaufwand auf rund 45 Minuten statt etwa 7 Stunden.
- Neue Schadensarten lassen sich als Suchkriterien ergänzen, ohne dass große Mengen historischer Trainingsdaten nötig sind.
- NEC strebt die praktische Einführung im Geschäftsjahr 2027 an.
Zwei Technologien für Rettungs- und Wiederaufbauarbeiten
NEC Corporation hat VLM-based Local Region Understanding und Continual Learning for VLMs vorgestellt. Beide entstanden in gemeinsamer Forschung mit dem Okatani Laboratory der Tohoku-Universität in Japan. NEC erwartet, dass Kommunen und andere Organisationen sie bei Rettungseinsätzen und im Wiederaufbau nutzen.
Die erste Technologie erkennt zuverlässig kleinteilige Schäden auf Bildern, die an Katastrophenorten aufgenommen wurden. Die zweite ermöglicht es, neue Arten von Schadensinformationen als Suchkriterien zu ergänzen, während das VLM seine ursprünglichen Erkennungsfähigkeiten behält. Nutzer können große Bildmengen in natürlicher Sprache durchsuchen und auf Aufnahmen eingrenzen, die zu einer bestimmten Lage passen.
NEC strebt die praktische Einführung im Geschäftsjahr 2027 an.
Das Problem: Zehntausende Bilder und winzige Details
NEC weist darauf hin, dass Naturkatastrophen schwerer und häufiger geworden sind und unmittelbar nach einem Ereignis oft Zehntausende Bilder vom Einsatzort vorliegen. Sie mit bloßem Auge zu sichten, kostet das Personal enorm viel Aufwand und Zeit. VLMs, die Bilder anhand von Textanfragen finden, könnten es auch kleinen Teams ermöglichen, eine Lage schnell einzuschätzen.
NEC sieht bei aktuellen Modellen jedoch zwei Schwächen. Viele Schadensarten, die für Entscheidungen bei Rettung und Wiederaufbau wichtig sind, erscheinen nur als kleine Details, die höchstens 10 % eines Bildes einnehmen, und herkömmliche VLMs übersehen sie mitunter. In NECs Verifikationsdatensatz nahm der Zielschaden in etwa 60 % der Fälle höchstens 10 % der Bildfläche ein. Hinzu kommt, dass VLMs mit bislang unbekannten Phänomenen Schwierigkeiten haben können, etwa mit regionalspezifischen Ereignissen wie Erdrutschen und Überschwemmungen oder mit neu erfassten Schäden. Zusätzliches Training kann zudem die Genauigkeit bei bereits erkannten Ereignissen verringern, ein Problem, das als Vergessen bekannt ist.
So funktionieren die Technologien
Local Region Understanding baut Regionsinformationen über Objekte im Bild in die Merkmalsextraktion des VLM ein. Das Modell konzentriert sich damit auf kleine Bereiche und schmale Regionen, nicht nur auf das Gesamtbild. NEC zufolge ließ sich bestätigen, dass Bereiche, die höchstens 10 % eines Bildes ausmachen, mit der gleichen Genauigkeit identifiziert werden, die herkömmliche VLMs bei Bereichen von etwa 30 bis 40 % erreichen. Das gilt für Schäden wie teilweise Gebäudeschäden an der Struktur oder Risse in Straßen, und das System kann detaillierte Beschreibungen erzeugen.
Continual Learning for VLMs trainiert mit zusätzlichen Daten und außerdem mit einer breiten Palette von Beschreibungen, die das VLM selbst vor dem zusätzlichen Training erzeugt hat. Das gemeinsame Lernen aus beiden Quellen erlaubt es dem System, neue Ereignisse zu erkennen und dabei den Genauigkeitsverlust bei früheren Ereignissen möglichst gering zu halten. Da keine großen Mengen historischer Trainingsdaten bereitgestellt werden müssen, lassen sich Suchkriterien später immer wieder ergänzen.
Die Forschung wurde auf den Computer-Vision-Konferenzen ECCV 2024 und ECCV 2026 angenommen und vorgestellt.
Ergebnisse der Verifikation
NEC testete die Technologien an 5.035 Bildern von Fahrzeugkameras, die aus Archivmaterial des Großen Ostjapanischen Erdbebens stammen und 12 Arten katastrophenbezogener Ereignisse abdecken. Kombiniert man neu gelernte Katastrophenereignisse mit vorhandenen Merkmalen wie Bergen und Flüssen, sank die Zahl der Bilder, die abschließend von Menschen geprüft werden mussten, von 5.035 auf durchschnittlich 544, also auf etwa ein Neuntel.
Bei 5 Sekunden pro Bild dauert die Prüfung aller Aufnahmen rund 7 Stunden. Mit den Technologien sinkt der Prüfaufwand laut NEC auf etwa 45 Minuten.
Was das für den Katastropheneinsatz bedeutet
NEC beschreibt den Einsatz in zwei Phasen. In der ersten Reaktion unmittelbar nach einer Katastrophe können Textsuchen wie „durch Erdrutschschutt blockierte Straßen“ die Lagebeurteilung beschleunigen. Im Wiederaufbau können die Werkzeuge Bilder von Straßen- und Gebäudeschäden sortieren und helfen, Vor-Ort-Inspektionen zu priorisieren. Da sich Kriterien nach und nach ergänzen lassen, können Anwender auf unvorhergesehene Risiken wie Überschwemmungen nach einem Erdbeben und auf lokale Gegebenheiten reagieren.
Künftig will NEC die Technologien mit der Analyse großflächiger Beobachtungsdaten kombinieren, darunter optische und Synthetic-Aperture-Radar-Satellitenbilder (SAR), um ein mehrdimensionales Verständnis der Katastrophenlage zu unterstützen. Zudem will das Unternehmen Forschung betreiben, die Katastrophen schon vor ihrem Eintreten verhindern soll. Die genannten Ergebnisse stammen aus NECs eigener Verifikation an einem Satz von Archivbildern.
