KI-Geschmacksstudie: 9,5-fach höhere Ausgaben brachten nur vier Punkte mehr Zustimmung

So lief die Studie ab

Die Analyse baut auf der KI-Geschmacksstudie von HumanSignal auf. Zehn Modelle von zehn Laboren erstellten jeweils eine Website zu denselben zehn Briefings. Anschließend wählten Menschen in einem blinden paarweisen Vergleich zwischen den Ergebnissen, ohne dass Modellnamen angezeigt wurden. Laut HumanSignal umfasste die Studie 450 Vergleiche, 4.500 Annotationen zu paarweisen Präferenzrankings und 29 Annotatoren.

Jeder Durchlauf hatte zudem Inferenzkosten. Der neue Beitrag der Data Scientistin Micaela Kaplan fragt, ob höhere Ausgaben zu Ergebnissen führten, die Menschen besser gefielen.

Neunfache Kosten, vier Punkte mehr Präferenz

Im Mittelpunkt steht der Vergleich zweier Modelle. muse-spark-1.3 erstellte seine Websites für durchschnittlich 0,16 US-Dollar Inferenzkosten und landete mit einem Präferenzanteil von 60,3 % insgesamt auf Platz drei. gpt-6-astra gab 1,53 US-Dollar pro Website aus, rund das 9,5-Fache, und belegte mit 64,3 % den ersten Platz. In den Worten von HumanSignal kauften die Mehrausgaben vier Punkte Präferenz und zwei Plätze im Ranking.

Die Präferenz ist der Anteil der 900 blinden paarweisen Stimmen, die jedes Modell in der gesamten Studie gewann. Weitere Ergebnisse aus der Tabelle:

• grok-4.6 landete mit 0,345 US-Dollar pro Website und 62,7 % auf Platz zwei.
• gemini-3.8-flash landete mit 0,427 US-Dollar pro Website und 32,8 % auf Platz neun, obwohl es das dritteuerste Modell war.
• seed-2.0-code landete mit 0,181 US-Dollar pro Website und 19,1 % auf Platz zehn.

Ordnete man die zehn Modelle nach Ausgaben und nach Präferenz, ergab sich eine Korrelation von +0,06. Innerhalb eines einzelnen Modells, also im Vergleich seiner zehn Briefings, lag die Korrelation zwischen Ausgaben und Ergebnis im Schnitt über alle zehn Modelle bei +0,03, bei vier der zehn Modelle war sie negativ. Auch die Laufzeit half nicht: Die Durchläufe dauerten zwischen 162 und 1.604 Sekunden, die Korrelation zwischen Dauer und Leistung betrug −0,17, die langsamsten Websites schnitten also etwas schlechter ab.

Kosten sichern eine Untergrenze, keine Spitze

Ein Muster zeigen die Daten dennoch. Kein Durchlauf, der mehr als 0,90 US-Dollar Inferenzkosten verursachte, erzielte weniger als 35 %. HumanSignal liest das so, dass Geld die schlechtesten Ergebnisse abwendet, denn Ausfälle häufen sich bei günstigen und mittelpreisigen Durchläufen. In der Formulierung des Beitrags: „Cost buys a floor. It does not buy a ceiling.“

Billig ist aber ebenfalls keine Strategie. seed-2.0-code verlor etwa vier von fünf Abstimmungen, an denen es beteiligt war. Laut HumanSignal lag das größtenteils daran, dass das Modell fast bei jedem Briefing keine brauchbare Website erzeugte. Ob die Kosten die Ursache waren, könne das Unternehmen nicht sagen; es nennt das unwahrscheinlich, aber nicht feststellbar. Zudem weist es darauf hin, dass muse-spark-1.3 und seed-2.0-code pro Website nur um zwei Cent auseinanderlagen und dennoch auf Platz drei beziehungsweise zehn landeten.

Warum der Preis den Geschmack nicht vorhersagt

HumanSignal hält das Ergebnis für erwartbar. Ein Preis pro Token spiegle Parameterzahl, Betriebsökonomie und die Preisentscheidung eines Labors wider, nichts davon messe die Qualität der Ausgabe. In weiten Teilen des Engineerings führe mehr Rechenleistung zu einer besseren Antwort, weil sich Korrektheit prüfen lasse. Für Geschmack gebe es kein solches Kriterium: „There is no compiler“, heißt es in dem Beitrag, also habe zusätzliche Rechenleistung nichts, woran sie sich optimieren könnte.

Was das für die Modellwahl bedeutet

Für Teams, die ein Modell für generierte Designarbeit auswählen, gilt laut HumanSignal: Weder eine Preisliste noch ein Fähigkeits-Benchmark bringt die Optionen in eine Rangfolge. Alle 100 Websites der Studie werden gerendert, funktionieren und bestehen die Tests, solche Benchmarks trennen sie also nicht. Das Unternehmen empfiehlt, die Ergebnisse Menschen zu zeigen und zu fragen, welches sie wählen würden. Diese Methode sei langsamer und teurer, beantworte aber als einzige die eigentliche Frage.

Alle 100 Websites, ihre Kosten und die vollständigen Präferenzdaten stehen im öffentlichen Dashboard von HumanSignal bereit.