Entscheidungsmodelle scheitern bei Tic-Tac-Toe per Screenshot, zeigt Arize-Test

Was Arize getestet hat

Entscheidungsmodelle erhalten einen Prompt und eine feste Liste von Optionen und geben für jede Option eine Wahrscheinlichkeit zurück. Laut Arize eignen sie sich damit gut für einzelne Schritte innerhalb eines Agenten, etwa die Auswahl eines Tools, die Wahl einer Route oder die Entscheidung, ob abgebrochen wird. Mehrere akzeptieren inzwischen auch Bilder: Cloudflares Clef Flash, die d1-Modelle von Liquid und OpenAIs Decisions-Route verarbeiten sie, und TypeSafes Jev 1.14 hat experimentelle Bildunterstützung erhalten.

Arize wollte wissen, ob ein Modell, das ein Bild lesen und darauf basierend entscheiden kann, auch ein Spiel spielen kann. Dafür baute das Unternehmen eine kleine Browser-Arcade mit drei Spielen, Tic-Tac-Toe, Minesweeper und Flappy Bird, und schickte acht Modelle hindurch. Sechs davon sind Entscheidungsmodelle, eine Mischung aus lokalen und Cloud-Modellen. Die anderen beiden sind LLMs, die als Vergleich hinzukamen. Außerdem ließ Arize von jedem Spiel eine reine Textversion laufen, bei der das Modell statt eines Bildes eine Beschreibung des Spielzustands erhält.

Die Zusammenfassung des Blogbeitrags zum Gesamtergebnis: Die Modelle schnitten je nach Spiel "OK, aber nicht großartig" ab. Der Autor fügt hinzu, sie hätten besser abgeschnitten als die meisten KIs, obwohl er sich selbst als miserablen Spieler bezeichne.

Der Aufbau bei Tic-Tac-Toe

Bei Tic-Tac-Toe spielt das Modell gegen einen perfekten Minimax-Gegner, ein Remis ist also das bestmögliche Ergebnis. Ein Sieg zählt 1, ein Remis 0,5 und eine Niederlage 0. Jedes Modell spielt pro Eingabeart 10 Partien, fünf als O und fünf als X. Jeder Zug ist eine einzelne Anfrage ohne Gesprächsverlauf. In der Bildversion schickt die Arcade einen Screenshot des Bretts, einen festen Prompt und die Liste der freien Felder als Auswahlmöglichkeiten. Die Textversion nutzt dieselben Stellungen, wobei das Brett zeilenweise ausgeschrieben wird.

Der Prompt weist das Modell an, zu gewinnen, wenn es kann, andernfalls einen unmittelbaren Gewinn des Gegners zu blockieren und sonst einen Zug zu wählen, der das Remis sichert. Den letzten Zug spielt die Arcade selbst, weil Entscheidungsmodelle einen einzelnen Entscheidungs-Prompt in der Regel ablehnen.

Arize baute für jedes Spiel außerdem deterministische Vergleichsmaßstäbe, bei Tic-Tac-Toe etwa Minimax. Das Unternehmen betont, dass diese keine gleichwertigen Konkurrenten sind, da sie programmatisch auf den Spielzustand zugreifen. Sie zeigen aber, wie ein gutes Ergebnis aussieht.

Ergebnisse: LLMs weit vor den Entscheidungsmodellen

Jev 1.14 war das stärkste Entscheidungsmodell. Mit Bildern erreichte es neun Remis in 10 Partien und verlor nur eine als X. Mit Text kam es auf vier Remis in 10 Partien, alle als O, und verlor alle fünf Partien als X. Arize weist darauf hin, dass dies der Warnung von TypeSafe im eigenen Launch-Beitrag widerspricht, wonach "alle Modelle (Jev eingeschlossen) bei Multimodalität schlechter abschneiden als bei reinem Text".

Die übrigen fielen schnell ab:

• Liquid d1 erzielte vier Remis pro Eingabeart.
• GPT-6 Luna Decisions erzielte ein Remis mit Bildern und drei mit Text.
• Liquid d1-3B erzielte ein Remis mit Bildern.
• Clef Flash und Liquid d1-omni-600M erzielten keines.

Über die sechs Entscheidungsmodelle hinweg ergibt das 26 Remis in 120 Partien.

Die LLMs schnitten deutlich besser ab. GPT-6 Astra Responses spielte alle 20 Partien remis, 10 mit Bildern und 10 mit Text. GPT-6 Luna Responses kam auf 19 von 20: neun Remis mit Bildern, alle 10 mit Text und eine Niederlage als O in der Bildversion. Zusammen erreichten beide 39 Remis in 40 Partien.

Laut Arize verlieren die Entscheidungsmodelle auf nahezu identische Weise: Der Gegner hat zwei in einer Reihe, und das Modell blockt nicht.

Was das bedeutet

Die Ergebnisse legen nahe, dass die Fähigkeit, Bilder zu akzeptieren, nicht bedeutet, dass ein Entscheidungsmodell sie in einem Spiel zuverlässig nutzen kann, selbst bei einem so kleinen wie Tic-Tac-Toe. In diesem Test kamen allgemeine LLMs mit Bild- wie mit Texteingaben deutlich besser zurecht als die meisten Entscheidungsmodelle. Jev 1.14 war unter den Entscheidungsmodellen die Ausnahme, und sein Bildergebnis übertraf sein Textergebnis.

Arize versteht die Arbeit eher als unterhaltsame Fragestellung denn als formales Urteil. Wer ein Entscheidungsmodell für einen bildbasierten Schritt in einem Agenten in Betracht zieht, kann sie als Erinnerung lesen, zunächst an der eigenen Aufgabe zu testen. Die Ergebnisse zu Minesweeper und Flappy Bird werden hier nicht behandelt.