Google Research: Agile Deliberation hilft Nutzern, subjektive Bildkategorien zu definieren

Das Problem mit unscharfen Kategorien

Modelle des maschinellen Lernens lernen aus Beispielen, die Menschen annotiert haben. Dieses Verfahren setzt voraus, dass die annotierende Person bereits eine klare und stabile Definition der Kategorie hat. Laut Google Research trifft das auf objektive Kategorien wie ein Stoppschild oder einen Golden Retriever zu, nicht aber auf subjektive wie "gesundes Essen", "inspirierende Kunst" oder Aufgaben der Inhaltsmoderation.

In diesen Bereichen können sich die Grenzen mit dem kulturellen Kontext, persönlichen Überzeugungen oder sich wandelnden betrieblichen Richtlinien verschieben. Die Autorinnen Otilia Stretcu und Leijie Wang weisen zudem darauf hin, dass Menschen selten mit einer vollständigen Spezifikation beginnen. Sie starten mit einer intuitiven Vorstellung und entdecken die tatsächlichen Grenzen und Ausnahmen erst, wenn sie reale Beispiele sehen. Klassische Arbeitsabläufe berücksichtigen das nicht und zwingen Nutzer zu starren Labels, obwohl sich ihr eigenes mentales Modell noch verändert.

So funktioniert der zweistufige Workflow

Agile Deliberation teilt die Aufgabe in Concept Scoping (Eingrenzung des Konzepts) und Concept Iteration (iterative Verfeinerung) auf.

In der Scoping-Phase zerlegt der Nutzer ein breites Konzept in eine Hierarchie aus Definitionen, die dazugehören oder ausgeschlossen sind. Bei "Healthy Food" könnten positive Unterkategorien etwa "Salads", "Grain Bowls" und "Lean Proteins" sein, während "Processed Foods" oder "Raw, Unprepared Ingredients" ausgeschlossen werden. Das gibt dem Modell eine erste strukturierte Grundlage.

In der Iterationsphase nutzt das Framework Vision-Language-Modelle (VLMs), um semantisch grenzwertige Bilder zu finden und anzuzeigen, die die aktuellen textbasierten Definitionen herausfordern. Der Ansatz greift auf Active Learning zurück, wählt Beispiele aber nicht nur danach aus, die Unsicherheit der Maschine zu verringern, sondern auch danach, den Nutzer zum Nachdenken anzuregen. Ein Beispiel aus dem Beitrag ist ein Fruchtsmoothie: Ist er ein gesundes Getränk, weil er rohes Obst enthält, oder ein ausgeschlossenes verarbeitetes Lebensmittel wegen seines Zuckergehalts?

Das Feedback des Nutzers fließt in eine automatische Prompt-Optimierungsschleife ein, sodass sich die Klassifikationsgrenzen des VLM mit den verfeinerten Definitionen verschieben. Das Team hat den Code und die Algorithmen auf GitHub als Open Source veröffentlicht.

Aufbau der Live-Studie

Da es für subjektive Konzepte keine statische Ground Truth gibt, lasse sich mit einer Offline-Evaluierung auf vorab annotierten Datensätzen nicht erfassen, wie sich das mentale Modell eines Menschen verschiebt, so das Team. Es baute einen funktionsfähigen Prototyp und führte 18 Live-Sitzungen von jeweils 1,5 Stunden durch. Die Teilnehmenden nutzten das System und alternative Baselines in zufälliger Reihenfolge, um Lerneffekte zu vermeiden.

Getestet wurden zwei Bereiche: Healthy Food und Pay-to-Play, eine Herausforderung der Inhaltsmoderation, bei der es darum geht, Clickbait-Bilder in Online-Unterhaltung oder Gaming zu erkennen, die irreführende finanzielle oder digitale Belohnungen versprechen. Agile Deliberation wurde mit drei Ansätzen verglichen:

• Zero-Shot-Klassifikatoren: Nutzer schreiben einen Prompt und sehen keine Grenzfälle.
• Modeling Collaborator: Ein KI-Agent zerlegt das Konzept selbstständig, der Nutzer bleibt außen vor.
• Manuelle Deliberation: Nutzer prüfen Tabellen, raten Suchanfragen und schreiben Prompts von Hand um.

Ergebnisse und was sie nahelegen

Laut Google Research zeigten Teilnehmende, die den strukturierten Prozess durchliefen, über die Zeit eine deutlich höhere Konsistenz beim Labeln und bauten Klassifikatoren, die allen Standard-Baselines klar überlegen waren. Die Vorteile waren bei den besonders schwierigen subjektiven Bildern am stärksten, bei denen klassische Klassifikatoren häufig scheitern, weil sie auf generische KI-Standardannahmen statt auf die Absicht des Nutzers setzen. Das Unternehmen gibt außerdem an, das Framework habe Ermüdung und Anspannung der Nutzer erheblich reduziert, weil manuelles Prompt Engineering durch direktes Feedback zu Grenzfällen ersetzt wurde.

Fachexperten unter den Teilnehmenden beschrieben das System als Diagnosewerkzeug, das half, "blinde Flecken" in ihren ursprünglichen Definitionen aufzudecken. Für Teams, die Klassifikatoren für Moderation oder Kuratierung bauen, deuten die Ergebnisse darauf hin, zuerst die menschliche Definition zu klären, um Modelle zu erhalten, die der Absicht entsprechen. Der Quelltext bricht vor den vollständigen Leistungszahlen ab, weshalb das Ausmaß der Verbesserungen hier nicht angegeben wird.