AI21 Labs: Öffentliche Coding-Benchmarks verfehlen, wie Entwickler Agenten tatsächlich nutzen

Was sieben Wochen Entwicklerverkehr zeigten

AI21 Labs entwickelte einen internen Klassifikator für Coding-Aufgaben und ließ sieben Wochen realen Verkehr der eigenen Entwickler durchlaufen. Laut dem Unternehmen umfasste das Ergebnis 15 Kategorien, 84 Unterkategorien und 4.211 Turns und widersprach den bisherigen Annahmen des Unternehmens über agentisches Programmieren.

Zentraler Befund: Entwickler nutzen Agenten eher als Denkpartner denn als Codegeneratoren. AI21 berichtet, dass nur rund 11 % der realen Entwickler-Turns den Agenten auffordern, Code zu schreiben. Meist stellen Entwickler Rückfragen, fügen Kontext ein, führen Analysen durch oder bitten um Reviews. Die häufigste einzelne Nachricht ist eine klärende Rückfrage.

Die Interaktionen verlaufen zudem im Dialog. Statt ein GitHub-Issue mit 1.000 Wörtern zu übergeben, tippen Entwickler mitten in einer Sitzung kurze Nachrichten von etwa 80 Zeichen, fügen Konsolenlogs ein und verfeinern die Ausgabe des Agenten schrittweise. Mehr als 60 % der internen Sitzungen enthalten laut AI21 mehr als eine eigenständige Aufgabe.

Wo öffentliche Benchmarks zu kurz greifen

AI21 ließ mehrere öffentliche Benchmarks, darunter SWE-bench, HumanEval und Spider, durch denselben Klassifikator laufen. Fast alle konzentrieren sich demnach darauf, Code von Grund auf zu schreiben oder einen Fehler so zu beheben, dass ein Test besteht. Bestätigungen, Kurskorrekturen, Git-Befehle und eingefügter Kontext machen laut dem Unternehmen etwa 40 % der realen Entwickler-Turns aus, kommen in öffentlichen Coding-Benchmarks aber so gut wie nicht vor.

Eine weitere Lücke ist der Schwierigkeitsgrad. AI21 argumentiert, Benchmarks gewichteten komplexe architektonische Probleme über mehrere Dateien hinweg zu stark, während echte Entwickler eher praktische Fragen stellen, etwa: "Why do I not see my changes in git status?" Dadurch könnten kleinere oder günstigere Modelle künstlich unfähig erscheinen, den Alltagsverkehr zu bewältigen, so das Unternehmen.

Auch der Kontext unterscheidet sich. Eine typische Benchmark-Aufgabe ist ein gut formuliertes GitHub-Issue mit 1.000 Zeichen auf einem sauberen Code-Checkout. Echte Nachrichten kommen dagegen auf Basis eines langen Gesprächsverlaufs, von Tool-Ausgaben und halb fertigen Dateiänderungen.

So baute AI21 den eigenen Benchmark

AI21 beschreibt ein Spannungsfeld zwischen drei Eigenschaften: Aufgaben aus der realen Arbeit, reichhaltiger Kontext und automatische Bewertbarkeit. Echte Sitzungen erfüllen die ersten beiden, lassen sich aber ohne menschliche Prüfung kaum bewerten, während öffentliche Benchmarks leicht zu bewerten sind, dafür aber den Praxiskontext vermissen lassen. Das Unternehmen wollte automatisierte Bewertung mit der Unordnung realen Verkehrs verbinden und folgte dabei vier Prinzipien:

• Der reale Verkehr bestimmt die Quoten. Wenn 40 % des echten Verkehrs aus Rückfragen und Codebasis-Analyse bestehen, testen auch 40 % des Benchmarks genau das.
• Öffentliche Aufgaben mit internem Code mischen. AI21 durchsuchte die eigenen Repositories nach Aufgaben, die bereits gelöst und gemergt waren, und prüfte, dass sie sich mit den eigenen Testsuites bewerten ließen.
• Schreiben wie ein Entwickler. Die Prompts wurden so umformuliert, dass sie kurzen, oft mehrdeutigen Entwicklernachrichten ähneln, während Code-Umgebung und automatisierte Tests unverändert blieben.
• Mittendrin starten. Eine interne Replay-Infrastruktur stellt eine echte Entwicklersitzung an jedem beliebigen Punkt samt angesammeltem Kontext und geänderten Dateien wieder her, sodass der nächste Schritt des Entwicklers simuliert werden kann.

Das Ergebnis ist ein Benchmark mit 613 Aufgaben, der nach Angaben des Unternehmens die Realität widerspiegelt.

Der Benchmark im Test mit einem Routing-Gateway

Um zu prüfen, ob der Benchmark die natürliche Verteilung realer Aufgaben besser erfasst als öffentliche, nutzte AI21 den Frontier-gestützten Router in seinem intelligenten Gateway. Das Gateway sitzt zwischen den Entwicklern und den Foundation-Modellen und wurde auf agentischen Coding-Verkehr trainiert. Für jede Nachricht bewertet der Router den Schwierigkeitsgrad der Aufgabe und entscheidet, ob die Anfrage ein teures Premium-Modell erfordert oder ein günstigeres, schnelleres sie bewältigen kann. Er lässt sich so abstimmen, dass ein erwarteter Prozentsatz des Verkehrs an das Premium-Modell geht, womit sich Kosten und Qualität gegeneinander abwägen lassen.

Der Ausgangstext bricht ab, bevor die Ergebnisse dieses Tests berichtet werden. Für Teams, die Agenten, Router oder Harnesses bauen, lautet AI21s Argument, dass Evaluierungen den realen Einsatz widerspiegeln sollten, da ein Benchmark, der den Schwierigkeitsgrad von Aufgaben falsch einschätzt, Entscheidungen über die Modellauswahl verzerren kann.