Studie: KI-Modelle von 10 Laboren teilen einen gemeinsamen Hausstil beim Webdesign

Ein Test für Geschmack, nicht nur für Können

Die meisten KI-Designbenchmarks prüfen laut HumanSignal, ob ein Modell eine bestehende Oberfläche anhand einer Vorlage nachbauen kann. Das zeige, ob ein Modell etwas umsetzen könne, sage aber wenig über seinen Geschmack aus, argumentiert das Unternehmen. Deshalb strich das Team die Designvorlage. Jedes Modell musste Farben, Typografie und Layout selbst festlegen, ohne externe Tools oder Pakete, und seine Entscheidungen begründen.

Die Idee knüpft an Texte von HumanSignal-CEO Michael Malyuk über einen „Taste Moat“ an: Je günstiger und zugänglicher die Umsetzung durch KI wird, desto wertvoller wird das Urteilsvermögen. HumanSignal sagt, es gebe „keinen Compiler für Geschmack“, und ließ die Ergebnisse deshalb von Menschen bewerten.

Wie die Studie ablief

Die Studie umfasste 10 Modelle von 10 Laboren und 10 Design-Briefings, von einer Telemedizin-App bis zu einer Skatewear-Marke aus New York. HumanSignal nutzte Flue, um allen Modellen dieselbe Agentenumgebung zu geben, und OpenRouter als gemeinsame Schnittstelle. Jede Anfrage wurde an einen benannten Anbieter gebunden, Fallbacks waren deaktiviert. Jedes Modell durchlief pro Briefing drei Varianten:

• Direction: eine kreative Richtung als JSON verfassen, ohne Tools und ohne Code.
• Build: aus einer festgelegten Richtung in einer abgeschotteten Sandbox eine Website bauen.
• Full site: die Website gestalten und bauen, mit einem Budget für Bilder, Schriften und Inspektionswerkzeuge.

Alle 10 Modelle verwendeten dasselbe Bildgenerierungsmodell, damit die Bildqualität Unterschiede in den Ergebnissen nicht erklären kann. Die menschliche Bewertung erfolgte in Label Studio als verdeckte, ausgewogene Jeder-gegen-jeden-Runde. Jedes Modellpaar trat bei jedem Briefing gegeneinander an, daraus ergaben sich 450 Duelle und 4.500 Stimmen von 29 Annotatoren. Sie sahen zwei Websites nebeneinander, ohne zu wissen, welches Modell sie erstellt hatte, und konnten einen Sieger wählen oder ein Unentschieden vergeben.

Was die Modelle immer wieder wählten

Über die 100 generierten Websites hinweg stechen drei Zahlen heraus. Inter kam in 47 % der Schriftsysteme vor, gefolgt von IBM Plex Mono mit 30 %. Häufig war die Kombination aus einer ausdrucksstarken Serifenschrift für Überschriften, Inter für den Fließtext und einer Monospace-Schrift für Daten. Außerdem setzten 91 % der Websites Verläufe ein und 88 % Karten mit Schlagschatten.

Bei den Farben zeigte sich ein ähnliches Muster. Beim Telemedizin-Briefing erreichten die Modelle bei der Konzentration der Primärfarbe einen Wert von 0,95, wobei 1,0 bedeutet, dass alle Modelle denselben Farbton wählten. Unabhängiger Film kam auf 0,14 und war damit das abwechslungsreichste Briefing der Studie. Skatewear lag bei 0,08, doch HumanSignal weist darauf hin, dass dies eine starke Einigkeit verdeckt: 8 von 10 Modellen wählten eine fast schwarze Primärfarbe und verzichteten weitgehend auf Farbe.

Wo sich die Modelle uneinig waren, teilten sie sich in einige vorhersehbare Lager. Beim Boutique-Hotel lag die Wahl zwischen warmem Gold und tiefem Grün, bei der Hundepark-Bar zwischen Orange und Grün, beim unabhängigen Film zwischen Bernstein und Blau.

Die Angleichung beginnt vor dem Code

Laut HumanSignal war das Muster schon in der Direction-Variante vorhanden, in der es weder Code noch Framework oder Komponentenbibliothek gab. Zwei der 10 Modelle gaben Tailwind-Farbtokens aus, die übrigen acht nicht, dennoch landeten alle 10 ungefähr am selben Punkt.

Auch die Begründungen ähnelten sich. Von 563 Farbbegründungen beschrieben 36 % eine Wahl danach, was das Modell vermeiden wollte, mit Formulierungen wie „ohne X“ und „statt Y“. Die Modelle hätten versucht, ihre Entwürfe voneinander abzuheben, sagt HumanSignal, seien aber immer wieder bei ähnlichen Vorstellungen davon gelandet, wie „anders“ aussehen soll.

Was das für Produkte auf Basis generativer KI bedeutet

Wenn ein Produkt Design generiert, ist dieser Hausstil laut HumanSignal vermutlich Teil der Voreinstellung, und ein klassischer Kompetenzbenchmark dürfte ihn kaum offenlegen. Die generierten Websites funktionieren, sind responsiv und gepflegt, können aber erstaunlich ähnlich aussehen. Zu messen, ob ein Modell die Aufgabe erledigen kann, sei nicht dasselbe wie zu messen, ob Menschen bevorzugen, was es erzeugt hat, so das Unternehmen.

Als Antwort schlägt HumanSignal eine Evaluierungsschleife für Geschmack vor: Menschen die Ergebnisse zeigen, sie wählen lassen und messen, wo sie sich einig sind und welche Modelle konsistent bevorzugte Entscheidungen treffen. Als Nächstes will HumanSignal veröffentlichen, was die Annotatoren in allen verdeckten Duellen gewählt haben und welche Modelle vorne lagen. Die Farbbegründungen und ihre Referenzen sollen in einem späteren Beitrag untersucht werden.