Roboflow-Plugin: ChatGPT durchsucht Computer-Vision-Datensätze für Nutzer

Was das Plugin leistet

Jedes Computer-Vision-Modell beginnt mit beschrifteten Daten, und laut Roboflow kann das Sammeln und Annotieren von Bildern von Grund auf Wochen dauern. Das Unternehmen empfiehlt daher, vor dem Start zu prüfen, ob jemand für dieselbe Aufgabe bereits Daten beschriftet hat. Als Anlaufstelle nennt es Roboflow Universe, das es als öffentliche Bibliothek mit quelloffenen Computer-Vision-Datensätzen und trainierten Modellen beschreibt.

Die Suche bleibt allerdings aufwendig. Nach Angaben von Roboflow müssen Nutzer suchen, von Anbieter zu Anbieter unterschiedliche Klassennamen vergleichen, Bildzahlen und Lizenzen prüfen und sich die tatsächlichen Annotationen ansehen, um die Qualität zu beurteilen. Das Roboflow-Plugin für ChatGPT soll diese Fleißarbeit übernehmen. Nutzer beschreiben in einfacher Sprache, was erkannt werden soll, und ChatGPT durchsucht Universe, stellt die Ergebnisse nebeneinander und verlinkt Beispielbilder sowie Versionsdetails.

Ist ein passender Datensatz gefunden, lässt er sich in einen Roboflow-Workspace forken, mit eigenen Bildern ergänzen und für das Training eines Modells nutzen.

Einrichtung

Die Einrichtung dauert laut Roboflow etwa eine Minute. Erforderlich ist ein kostenloses Roboflow-Konto, das sich auch beim Verbindungsschritt anlegen lässt. Die Schritte:

• Das Plugin-Verzeichnis öffnen, indem man in der ChatGPT-Seitenleiste Plugins auswählt oder chatgpt.com/plugins aufruft. Laut Roboflow funktioniert das im Web, in der Desktop-App und in den mobilen Apps.
• Nach Roboflow suchen, das Plugin öffnen und Install plugin wählen.
• Connect wählen und sich bei Roboflow anmelden.
• Eine neue Unterhaltung beginnen und @Roboflow an den Anfang der Nachricht setzen oder im Nachrichtenfeld + wählen und Roboflow auswählen.

ChatGPT kann das Plugin auch selbstständig nutzen, wenn eine Anfrage passt. Roboflow weist jedoch darauf hin, dass die direkte Nennung die Verwendung sicherstellt. Ein kurzer Testprompt fragt nach Objekterkennungs-Datensätzen für Schutzhelme. Liefert ChatGPT eine Liste von Datensätzen, funktioniert die Einrichtung.

Praxisbeispiel: Oberflächenfehler bei Stahl

Das Tutorial greift eine gängige Aufgabe aus der Fertigung auf: Eine Kamera prüft Stahlbleche auf Oberflächenfehler wie Kratzer, Flecken und Lochfraß. Der Projekttyp ist Object Detection mit Bounding-Box-Annotationen. Laut Roboflow gelten dieselben Schritte auch für andere Ziele, von Platinendefekten über Schutzausrüstung bis zu Handelsprodukten.

Der erste Prompt verlangt bis zu 5 passende Datensätze in einer Tabelle mit Name, Anbieter, Bildzahl, exakten Klassennamen, Lizenz und Link und fragt, welche der Zielfehler jeder Datensatz abdeckt oder auslässt. Roboflow rät, die tatsächlichen Klassennamen zu prüfen, da Anbieter etwa pitted_surface statt "pitted surfaces" schreiben können.

Ein zweiter Prompt grenzt die Ergebnisse auf Datensätze mit mehr als 1.000 Bildern ein, die alle drei Fehlertypen enthalten. Ein Treffer war Steel Surface Defects, Anbieter "my focus". Die Projektseite nennt 1.799 Bilder, die Klassen crazing, inclusion, patches, scratches, pitted_surface und rolled-in_scale sowie eine CC-BY-4.0-Lizenz. Der Datensatz deckt die drei Zielklassen und drei weitere ab.

Qualität prüfen, bevor man sich festlegt

Eine Klassenliste zeigt nur, was beschriftet ist. Deshalb ergänzt das Tutorial einen Schritt zur Stichprobenprüfung. Ein Prompt bittet ChatGPT um 6 verschiedene annotierte Bilder, möglichst gleichmäßig auf die Klassen verteilt, mit Bild-ID, annotierten Klassen, Zahl der Annotationen und einem Link zum Annotation-Viewer von Roboflow Universe. Der Prompt weist ChatGPT an, keine Bild-IDs oder Links zu erfinden und zu erklären, was fehlt, wenn eine Klasse oder ein Bild nicht verfügbar ist.

Roboflow empfiehlt, die Bounding Boxes auf Genauigkeit und übersehene Fehler zu prüfen und Auflösung, Beleuchtung, Oberflächenstruktur und Fehlergröße mit dem geplanten Einsatz zu vergleichen.

Der letzte Schritt ist die Prüfung der Datensatzversionen, denn eine Version kann Preprocessing oder Augmentation enthalten. Der Prompt verlangt Versionsnummer, Bildzahlen für Training, Validierung und Test, Einstellungen für Preprocessing und Augmentation, Lizenz und einen direkten Link. Außerdem soll ChatGPT die Bildzahl des Projekts von der Bildzahl der erzeugten Version unterscheiden.

Was das für Nutzer bedeutet

Für Teams, die Vision-Modelle entwickeln, verlagert das Plugin die Datensatzsuche und den ersten Vergleich in einen Chat. Laut Tutorial liegen die Qualitätsprüfungen aber weiterhin beim Nutzer: den Annotation-Viewer öffnen, die Labels prüfen und die Versionseinstellungen vor dem Training bestätigen.