Property Finder stellt fest: 96,8 Prozent der Labels für die KI-Bewertung stammten von einem einzigen Modell

Die Ingenieure von Property Finder haben festgestellt, dass 96,8 Prozent der Labels zur Bewertung ihrer Vision-KI aus den Vorhersagen eines einzigen Modells übernommen und nicht von menschlichen Fachleuten geprüft worden waren. Laut AWS konnte das Unternehmen nach der Korrektur dieser Verzerrung Modelle auf Amazon Bedrock fair vergleichen und eine höhere Genauigkeit bei 86 Prozent niedrigeren Kosten erreichen.
- Property Finder stellte fest, dass 96,8 Prozent seiner Evaluations-Labels aus den Vorhersagen eines Modells übernommen und nicht von Menschen geprüft worden waren.
- Das Team annotierte 356 Bilder aus den VAE mit einem unabhängigen Experten von Hand und wechselte zur Multi-Label-Klassifizierung.
- Die Prompts wurden über die Versionen v0 bis v27 verfeinert und vor allem mit dem Micro F1 auf einem Entwicklungsdatensatz mit 256 Bildern bewertet.
- Das proprietäre Modell A erreichte auf diesem Datensatz einen Micro F1 von 0,55, Llama 4 Maverick 17B Instruct mit dem Prompt v21 dagegen 0,75.
- Laut AWS ergab die Arbeit auf Amazon Bedrock eine höhere Genauigkeit bei 86 Prozent niedrigeren Kosten.
Ein verzerrter Lösungsschlüssel verdeckte bessere Alternativen
Property Finder, eine digitale Immobilienanwendung, verarbeitet täglich Zehntausende Immobilienbilder im Nahen Osten und in Nordafrika. Das System bewertet pro Bild 11 Qualitätsmerkmale, darunter Wasserzeichenerkennung, Raumklassifizierung, Möblierungsstatus, Fotoqualität und Baufortschrittsindikatoren. Laut AWS gehen täglich Tausende neue Inserate mit durchschnittlich 15 Bildern ein, die alle vor der Veröffentlichung eine Qualitätsprüfung durchlaufen müssen.
Das Team suchte nach einer kostengünstigeren Option und stieß dabei auf ein Problem: Gemessen an den vorhandenen Labels schnitt jede Alternative schlechter ab. Die Ursache lag in den Labels selbst. 96,8 Prozent der gelabelten Stichproben stammten direkt aus dem bestehenden Vision-Language-Modell und nicht aus einer unabhängigen menschlichen Prüfung. Jede Alternative wurde daher danach beurteilt, wie genau sie das bisherige Modell nachahmte, und nicht danach, ob sie richtig lag.
Die Labels enthielten zudem Fehler. Bei Wasserzeichentexten waren Zeichenfehler als korrekt markiert, darunter halluzinierte Markennamen und fehlende Zeichen. Die Fotoklassifizierung zwang Bildern, die mehrere Raumtypen zeigen, ein einziges Label auf. In den übrigen 3,2 Prozent der von Menschen gelabelten Stichproben hatten die Annotatoren Kategorien außerhalb der Spezifikation ergänzt, etwa Office.
Ground Truth mit unabhängigen Experten neu aufgebaut
Das Team von Property Finder annotierte 356 Bilder aus den Vereinigten Arabischen Emiraten von Hand. Sie wurden aus unbeschrifteten Produktiv-Inseraten in repräsentativen Branchensegmenten ausgewählt. Ein separater Satz mit 230 Bildern aus Ägypten diente als regionsübergreifende Gegenprobe, doch AWS nennt dazu keine Ergebnisse. Die ersten 256 Bilder aus den VAE bildeten den Entwicklungsdatensatz für die Feinabstimmung. Der abschließende Modellvergleich nutzt alle 356, einschließlich 100 Bildern, die nach den Entwicklungsläufen annotiert wurden.
Ein Strategie- und Analyseexperte mit Kenntnis der Qualitätsstandards für Inserate annotierte jedes Bild, ohne Zugriff auf frühere Modellausgaben. Das Team des AWS Generative AI Innovation Center führte Klärungsrunden durch, um mehrdeutige Fälle zu entscheiden und die Annotation einheitlich zu halten. AWS weist darauf hin, dass 356 Bilder ungefähr ausreichen, um mittlere Unterschiede zwischen Modellen zu erkennen. Für seltene Klassen gibt es weniger Beispiele, sodass kleinere Unterschiede bei diesen Merkmalen unentdeckt bleiben können.
Außerdem wechselte das Team von Single-Label- zu Multi-Label-Klassifizierung. Ein Flurfoto, das durch eine Tür ein Schlafzimmer zeigt, ist tatsächlich beides, und die Multi-Label-Bewertung bestraft Modelle nicht mehr für sinnvolle zweitrangige Vorhersagen.
- Micro F1 war die primäre Metrik, da sie jede Vorhersage gleich gewichtet.
- Macro F1 wurde ergänzend ausgewiesen, weil Micro F1 von häufigen Klassen dominiert wird und schwache Ergebnisse bei seltenen Merkmalen verbergen kann.
- Precision und Recall pro Label halfen, konkrete Fehlerbilder zu identifizieren.
- Intersection over Union pro Stichprobe maß, wie stark die vorhergesagten Labels mit denen des Experten übereinstimmten.
- Exact-Match-Genauigkeit kam bei den neun Single-Label-Merkmalen zum Einsatz, etwa bei Rotation oder Wasserzeichenerkennung.
Prompt-Optimierung als evolutionäre Schleife
Mit einem verlässlichen Lösungsschlüssel optimierte das Team die Prompts in einer Schleife, die AWS mit Reinforcement Learning vergleicht: Jede Prompt-Version fungiert als Agent, der Micro-F1-Wert als Belohnung, und die Fehleranalyse steuert die nächste Änderung. Der Ansatz ähnelt GEPA (Genetic-Pareto reflective prompt evolution), bei dem Prompt-Bestandteile mutiert, bewertet und ausgewählt werden. Die Schleife lief von Version v0 bis v27. KI-Assistenten werteten fehlgeschlagene Bilder aus und schlugen Änderungen vor, und MIPROv2, ein automatisierter Optimierer aus der DSPy-Bibliothek, unterstützte in v27 die Aufgabe der Fotoklassifizierung.
Der erste Prompt nutzte generische Anweisungen, um ein Bild Kategorien wie Living Room, Kitchen, Bedroom und Bathroom zuzuordnen. Das proprietäre Modell A, die Produktionsbasis von Property Finder, erreichte auf dem Entwicklungsdatensatz mit 256 Bildern einen Micro F1 von 0,55, und zwar mit v22, einem für diese Modellfamilie optimierten Prompt. Werte vor v21 beruhen laut AWS auf dem früheren Single-Label-Aufbau und sind nicht direkt vergleichbar.
Mehrere Verbesserungen ergaben sich aus der Analyse einzelner Fehler. Frühe Modelle vergaben für Räume, die durch Türen zu sehen sind, das Label des sekundären Raumtyps, weshalb das Team sie anwies, nach dem Raum zu klassifizieren, der den größten Teil des Bildes einnimmt. Regionale Regeln für dekorative arabische Textüberlagerungen, die keine Wasserzeichen sind, beseitigten eine ganze Kategorie von Fehlalarmen. Der Prompt v21 führte dann die Multi-Label-Ausgabe ein und wurde zum gemeinsamen Ausgangspunkt für alle Modelle. Damit erreichte Llama 4 Maverick 17B Instruct von Meta auf dem Entwicklungsdatensatz einen Micro F1 von 0,75.
Was das für Teams bedeutet, die Modelle evaluieren
Die Lehre, die AWS zieht: Am schwierigsten war nicht, ein besseres Modell zu finden, sondern zu erkennen, dass die Evaluationsmethode der Engpass war. Teams, die die Ausgaben ihres Produktionsmodells als Ground Truth behandeln, lehnen womöglich günstigere oder genauere Alternativen ab, bevor sie diese überhaupt getestet haben.
AWS empfiehlt zudem einen hybriden Ansatz für künftige Erweiterungen des Datensatzes: Modelle unterschiedlicher Familien liefern Label-Kandidaten und zeigen Abweichungen auf, menschliche Experten entscheiden jeden Fall, sodass keine Modellausgabe direkt als Label übernommen wird. Der vorliegende Textauszug endet vor dem vollständigen abschließenden Vergleich, die kompletten Ergebnisse stehen im Originalbeitrag von AWS.


