NEC entwickelt VLM-basierte KI, die Kamerabilder bewertet und Katastrophenanzeichen erkennt

Zustände bewerten statt Textantworten auswerten

Ein universelles VLM könne die Lage vor Ort zwar in Worten beschreiben, doch seine Textantworten enthielten keine quantitativen Angaben wie Grad oder Ausmaß, so NEC. Dadurch seien feine Unterschiede zwischen Szenen schwer zu erfassen. Stellt man einem VLM eine textbasierte Frage, etwa ob ein Gebiet überflutet ist, könnten die Antworten außerdem von den Fakten abweichen oder widersprüchlich ausfallen, erklärt das Unternehmen.

NECs Ansatz stützt sich nicht auf den vom Modell erzeugten Text. Stattdessen analysiert eine firmeneigene Technologie die Wahrscheinlichkeitswerte, die das VLM intern bei der Textgenerierung berechnet. Laut NEC werden so Informationen nutzbar, die bei der Umwandlung in Sprache verloren gingen, und Zustände wie das Ausmaß einer Überflutung oder von Schneeansammlungen lassen sich fein abstufen. Veränderungen und Trends im Zeitverlauf können dann als kontinuierliche Zahlenwerte verfolgt werden. Betreiber können auf Basis dieser Werte Vorwarn- und Gefahrenschwellen festlegen, die zum jeweiligen Standort und zur Art der Katastrophe passen.

NEC beschreibt die zugrunde liegende Methode so: Feine Unterschiede zwischen bewegten Bildern werden erkannt und quantifiziert, indem die Wahrscheinlichkeiten für die Satzgenerierung verglichen werden, die das VLM bei der Beschreibung der Bilder berechnet. Die Arbeit soll auf der internationalen Konferenz ACM Multimedia Asia 2026 (MMAsia 2026) vorgestellt werden.

Prompts werden automatisch für jeden Standort erzeugt

Ein zweites Problem, das NEC angeht, ist das Prompt-Design. Da die Antworten eines VLM stark vom Inhalt des Prompts abhängen, müssen Ingenieure mit Spezialwissen per Versuch und Irrtum klären, wie sich die jeweils wichtigen Punkte eines Standorts abbilden lassen. Nach Angaben von NEC macht das eine rasche Anwendung für viele Katastrophenarten und Orte unpraktikabel.

Mit der neuen Technologie erzeugt die KI automatisch einen Prompt, der zur beobachteten Katastrophenart, etwa Überflutung oder Schneeansammlung, und zum Bildaufbau der jeweiligen Kamera passt. Der Prompt entsteht aus Aufnahmen vom Standort durch schrittweise Anpassungen, die den Wert zwischen zeitlich aufeinanderfolgenden Bildern kontinuierlich halten. Dabei erkennt das System automatisch, auf welche Bildbereiche das VLM achten soll und welche sich ignorieren lassen.

Laut NEC unterdrückt dies Schwankungen der Werte, die durch kleine Unterschiede zwischen Bildern entstehen, und ermöglicht stabile Beurteilungen. Fachleute müssen Prompts nicht mehr für die Umgebung jeder Kamera oder für jede Katastrophenart entwerfen oder anpassen.

Hintergrund und Bedeutung für Überwachungsstandorte

NEC weist darauf hin, dass an vielen Straßen und Flüssen bereits Livekameras installiert sind, das manuelle Dauerprüfen der Bilder zahlreicher Kameras aber schwierig ist und feine Veränderungen, die eine nahende Katastrophe ankündigen, übersehen werden können. Bilderkennungs-KI sei eine Möglichkeit zur Automatisierung, erfordere jedoch für jede Katastrophenart und jeden Standort das Sammeln und Annotieren großer Trainingsdatenmengen, was zeit- und arbeitsintensiv sei.

Die neue Technologie kann vorhandene Livekameras von Kommunen, Behörden und Infrastrukturbetreibern nutzen, was laut NEC den Einsatz an Überwachungsstandorten erleichtert. Das Unternehmen erwartet, dass sich damit der Überwachungsbetrieb effizienter gestalten lässt und Überprüfungen vor Ort sowie Entscheidungen über Gegenmaßnahmen schneller erfolgen, sodass Schäden verhindert und ihre Ausbreitung begrenzt werden können. NEC will die Technologie einsetzen, um Kommunen und Infrastrukturbetreiber zu unterstützen und zu mehr Sicherheit in den Gemeinden beizutragen.