Replits ViBench 2.0 testet KI-Modelle beim Bau kompletter Softwareprodukte

Was ViBench 2.0 misst

ViBench 2.0 ist Teil des Specialized Intelligence Index (SII) von Fireworks, das Replit als Partner für Inferenz und Training von Open-Weight-Modellen beschreibt. Der SII bündelt von Praktikern entwickelte Benchmarks, um offene, geschlossene und spezialisierte Modelle bei realen Arbeitsaufgaben in verschiedenen Branchen zu vergleichen.

Replit grenzt den neuen Benchmark von Coding-Tests wie DeepSWE ab, bei denen ein Agent eine klar umrissene Aufgabe in einer bestehenden Codebasis erhält. In ViBench 2.0 beginnt der Agent bei null. Er baut aus einer kurzen Spezifikation eine erste Version eines Produkts und ergänzt dann auf seinem eigenen Code bis zu achtzehn Features. Die Produkte sind an Dienste wie Uber, GitHub und Google Docs angelehnt.

Der Benchmark umfasst siebzehn Produkte, 241 Feature-Anfragen und 544 Testpläne. Acht der Produkte sind auf GitHub im Harbor-Format öffentlich, die übrigen neun bleiben zurückgehalten. Replit zufolge lassen sich alle Ergebnisse ab Release v2.0.6 mit einem einzigen Befehl auf dem OpenHands-basierten Harness reproduzieren.

Das Design baut auf ViBench 1.0 auf. Dort zeigte sich, dass Modelle schlechter abschneiden, wenn sie ein Feature zu ihrem eigenen Code hinzufügen, ein Szenario, das das Paper Vibe-on-Vibe nannte. Replit erklärt, ViBench 2.0 erweitere das, indem es die Entwicklung eines Produkts nachbilde. Weil der Agent Schema und Routen wählen muss, bevor er weiß, was als Nächstes kommt, können spätere Features schwieriger sein als frühere.

So funktioniert die Bewertung

Die Feature-Anfragen beschreiben, was ein Nutzer erwartet, nicht wie es umzusetzen ist. Sobald das letzte Feature gebaut ist, führt ein Bewertungsagent die Testpläne in einem echten Browser aus, klickt, tippt und prüft Ergebnisse. Die Aufgaben testen etwa saubere Bereitstellung auf einer leeren Datenbank, vorhandene Daten, Invarianten, veraltete Zustände und Nebenläufigkeit. Ein Beispiel: Im Ride-Hailing-Produkt müssen sich geteilte Fahrtkosten auf den Cent genau zum Fahrpreis addieren.

Replit setzt Opus 5.5 als Bewerter ein, weil es unter den getesteten Modellen die wenigsten Fehler machte. Zur Kontrolle pflanzte das Team nacheinander 34 Bugs in funktionierende Builds ein. Laut Replit bestand Opus nie einen Plan, solange der Bug sichtbar war. Als GPT-6.1 Sol 477 der von Opus bestandenen Pläne erneut bewertete, bestätigten sich 99,2 % als korrekt. Replit sieht zudem keinen Hinweis darauf, dass Opus Builds von Claude-Modellen bevorzugt.

Ein öffentlicher Testplan lässt zwei Nutzer, Alice und Bob, dasselbe Rechteck in einem Design-Tool bearbeiten und prüft dann, ob Alices Rückgängig-Aktion nur ihre eigene Änderung zurücknimmt. GPT-6.1 Sol, GPT-6 Astra und Opus 5.5 scheitern an diesem Plan in acht von zwölf Builds.

Ergebnisse und Kosten

Die offiziellen Ergebnisse stammen aus Läufen von Fireworks: vier Builds je Produkt und Modell für alle siebzehn Produkte, auf demselben Harness mit identischen Einstellungen, bei mittlerem Aufwand und Temperatur 1,0. Pass@1 ist der Anteil der Builds, in denen alle Testpläne bestanden werden.

• GPT-6.1 Sol führt mit einem Pass@1 von 65 %, gefolgt von GPT-6 Astra mit 60 % und Opus 5.5 mit 49 %.
• Alle drei bestehen mehr als 90 % ihrer Testpläne, die meisten gescheiterten Builds verfehlen also nur wenige Pläne.
• Sol kostet rund 12 US-Dollar pro Build, Astra etwa 90 US-Dollar.
• DeepSeek V4.1 Flash besteht 77 % seiner Testpläne bei etwa 2,50 US-Dollar pro Build, allerdings besteht kein Open-Weight-Modell einen kompletten Build.
• Opus 5.5 schließt einen Build im Schnitt in etwa 70 Minuten ab, rund 2,5-mal schneller als Sol. Replit führt den Unterschied überwiegend auf die Geschwindigkeit der API-Anbieter zurück.

Replit hat zudem frühere GPT-Modelle selbst auf den acht öffentlichen Produkten laufen lassen. Pass@1 steigt von 0 % bei GPT-5.4 auf 31 % bei GPT-6 Sol und 53 % bei GPT-6.1 Sol, während die Quote bestandener Pläne von 42 % auf 95 % klettert. Die 53 % von GPT-6.1 Sol auf dem öffentlichen Set liegen unter den 65 % insgesamt. GPT-6.1 Terra, das Replit zum Zeitpunkt der Veröffentlichung als OpenAIs neuestes Modell bezeichnet, besteht 47 % der Builds bei etwa der Hälfte der Kosten von GPT-6.1 Sol.

Wo Modelle scheitern und wie die Builds aussehen

Die verfehlten Pläne betreffen oft kleine Details, die einem echten Nutzer auffielen: ein Draft-Pull-Request, der seinen Merge-Konflikt nie anzeigt, keine Möglichkeit, ein Wort in einer Tabellenzelle zu kommentieren, oder ein Server-Eigentümer ohne Rollen, der niemanden moderieren kann.

Replit unterscheidet zwei Fehlerarten. In etwa einem von 40 Builds der Spitzenmodelle startet das Produkt auf der leeren Datenbank nie, weil späterer Schema-Code auf eine Tabelle verweist, bevor die Anweisung sie erzeugt. Häufiger brechen Builds dort, wo sich Features überschneiden. Knapp drei Viertel der gescheiterten Builds dieser Modelle scheitern ausschließlich an solchen Überschneidungen.

ViBench bewertet kein Design, doch Replit hat trotzdem Screenshots veröffentlicht. Modelle derselben Familie erzeugten ähnliche Designs, heißt es. GPT-Modelle neigten zu Illustrationen und großen Überschriften, Claude-Modelle bauten schlichtere Oberflächen, die den nachgeahmten Produkten näherkommen. Nach Replits Einschätzung bestanden die optisch besten Builds nicht häufiger.

Was das bedeutet

Replit folgert, dass die besten heutigen Modelle den größten Teil eines Produkts korrekt bauen, das schrittweise Hinzufügen von Features aber ihre Grenzen offenlegt, da neue Features zu zuvor vom Agenten geschriebenem Code passen müssen. Das Unternehmen erwartet, dass solche Werte auch kosteneffizientere Modelle erreichen, darunter Open-Weight-Modelle, und sieht GPT-6.1 Sol mit rund 12 US-Dollar pro Build als frühes Zeichen. Eine ausführliche Beschreibung der Methodik soll folgen, aktuelle Ergebnisse stehen im SII-Leaderboard und auf vibench.ai.