Roboflow bietet jetzt vollständige Unterstützung für Anomalieerkennung, trainiert nur mit einwandfreien Bildern

Fehler finden, ohne Fehlerbeispiele zu haben

Ein Modell zur Anomalieerkennung wird mit Bildern trainiert, die zeigen, wie "gut" aussieht. Werden neue Bilder durch das Modell geschickt, gibt es für jedes an, ob es normal oder anomal ist, liefert einen Anomalie-Score und kann eine Heatmap der am stärksten abweichenden Bereiche erzeugen. Roboflow nennt als Beispiele ein beschädigtes Bauteil oder eine verirrte Schraube auf einem Förderband.

Das Unternehmen argumentiert, dass sich dies für Qualitätssicherung und Qualitätskontrolle (QA/QC) eignet. Auf einer gut laufenden Produktionslinie tritt ein Defekt womöglich nur einmal bei Tausenden von Teilen auf, und keiner gleicht dem anderen. Deshalb dauert es lange, genügend annotierte Beispiele für ein Objekterkennungs- oder Klassifikationsmodell zu sammeln. Einwandfreie Teile lassen sich dagegen leicht beschaffen.

Als passende Einsatzfelder nennt Roboflow Lebensmittel und Landwirtschaft, Fertigung, Elektronik, Verpackungen und Etiketten sowie Textilien. Zudem empfiehlt das Unternehmen den Ansatz als erstes Modell, wenn noch keine Defektdaten vorliegen: auf der Linie laufen lassen, die markierten Fälle prüfen, und die Ergebnisse bilden den Grundstock eines annotierten Defektdatensatzes für ein späteres Objekterkennungsmodell.

PatchCore und FoundAD

Roboflow unterstützt zwei Architekturen. Beide gehen von einem Bildmodell aus, das mit Millionen von Bildern vortrainiert wurde, und beschreiben damit jeden kleinen Ausschnitt (Patch) eines Bildes.

• PatchCore schickt jedes Trainingsbild durch ein WideResNet-50 und legt die Patch-Merkmale in einer Memory Bank ab. Bei der Inferenz wird jeder Patch mit dem nächstgelegenen normalen Patch verglichen. Es gibt kein Gradiententraining, daher ist das Training schnell: laut Roboflow dauert es Minuten.
• FoundAD nutzt einen eingefrorenen DINOv3-Encoder und trainiert einen kleinen Projektor, der die Form des normalen Merkmalsraums lernt. Patches, die nicht passen, erhalten hohe Scores. Das Training dauert länger, bei großen Datensätzen Stunden.

Roboflow hat beide an vier Kategorien des VisA-Datensatzes trainiert, einmal mit 4 normalen Bildern und einmal mit allen. FoundAD ist laut Unternehmen die bessere Wahl, wenn nur wenige einwandfreie Bilder vorliegen, während mehr Daten beiden helfen, PatchCore am meisten.

Bei der Geschwindigkeit hängt die Inferenzzeit von FoundAD nicht von der Größe des Trainingsdatensatzes ab, während PatchCore eine Memory Bank durchsucht, die mit den Daten wächst. Welches Modell schneller ist, hängt von der Hardware ab, und die Auflösung spielt eine noch größere Rolle, weshalb FoundAD bei höher aufgelösten Eingaben meist besser geeignet ist. Roboflow betont, dass die Ergebnisse aus einem einzelnen Benchmark mit Roboflow Inference 1.8 stammen und als Beispiel zu verstehen sind.

Workflow und das Beispiel der Eierlinie

Nutzer legen ein Projekt vom Typ "Anomaly Detection" an, laden Bilder einwandfreier Produkte hoch und versehen sie mit dem Label "normal". Die Labels gelten pro Bild, es sind keine Boxen oder Masken nötig. Anomale Bilder können optional mit "anomalous" gekennzeichnet werden; sie fließen nicht ins Training ein, helfen aber bei der Wahl des Schwellenwerts und beim Berechnen von Precision und Recall. Ohne sie wird der Schwellenwert anhand normaler Validierungsbilder festgelegt, sodass etwa 1 % davon markiert würden.

Roboflow empfiehlt ein Objekt pro Bild, denn in einem vollständigen Förderbandbild mit 60 Eiern verändert ein verschmutztes Ei den Score kaum. Im Eier-Beispiel schnitt das Team jedes Ei mit einem Instanzsegmentierungsmodell aus. Der endgültige Datensatz bestand aus 962 normalen Trainingsausschnitten, 208 Validierungsbildern (davon 12 anomal) und 130 Testbildern (davon 11 anomal). Auf diesem Testset erkannte PatchCore 14 von 15 echten Defekten bei 2 Fehlalarmen, FoundAD erkannte 10.

Trainierte Modelle werden über die Serverless API aufgerufen. Die Antwort enthält anomaly_score, anomaly_threshold und is_anomalous; mit include_anomaly_map wird zusätzlich die Heatmap zurückgegeben.

Was das für Nutzer bedeutet

Für Teams, die Produkte prüfen, aber keine Defektbilder haben, bietet die Veröffentlichung die Möglichkeit, allein mit normalen Proben zu starten. Roboflow rät, den Score innerhalb des Objekts statt über den gesamten Ausschnitt zu bilden: Die obersten 1 % der Heatmap-Werte innerhalb des Eis hoben den AUROC auf dem Testset von 0,97 auf 0,999. Außerdem sagt das Unternehmen, die Ergebnisse hingen von Bildern, Defekten, Bildgröße und Hardware ab, weshalb beide Modelle mit den eigenen Daten ausprobiert werden sollten.