Terminal-Bench 4.1 verschärft Bewertung für KI-Terminal-Agenten

Ein Benchmark für echte Terminal-Arbeit

Terminal-Bench misst, ob ein KI-Agent ein Computerterminal nutzen kann, um Aufgaben aus Softwareentwicklung und Systemtechnik zu erledigen. Dazu gehören das Schreiben und Debuggen von Code, die Konfiguration von Umgebungen und die Fehlerbehebung.

Die 66 Aufgaben in Version 4.1 decken sieben Bereiche ab: Software, Wissenschaft, maschinelles Lernen, Betrieb, Sicherheit, Hardware und Medien. Der Benchmark wird von Harbor und dem Laude Institute bereitgestellt. Jede Aufgabe enthält eine Anweisung, eine Umgebung und einen Verifier. Die Umgebung stellt Dateien, Werkzeuge und Ressourcenlimits bereit, während der Verifier das Ergebnis prüft und eine Belohnung zurückgibt, die in den ausgewiesenen Score einfließt.

Terminal-Bench wird genutzt, um die Leistung führender Agenten zu dokumentieren, und in vielen Model Cards zitiert. Das 4.1-Leaderboard führt 23 Modell- und Agentenkonfigurationen mit Lösungsquoten zwischen 12,1 % und 65,8 % auf. Sieben Konfigurationen lösen mehr als die Hälfte der Aufgaben. Opus 5.5 liegt mit 65,8 % auf dem ersten Platz, gefolgt von Sonnet 5.5 mit 63,9 % und GPT-6.1 Sol mit 60,9 %.

RewardKit Workers stärken die Isolierung der Verifier

Snorkel AI, das als Aufgabenautor, Datenpartner und Unterstützer über das Open Benchmarks Grants-Programm zu Terminal-Bench beiträgt, erklärt, dass sich Version 4.1 darauf konzentriert, wie zuverlässig der Benchmark erledigte Arbeiten bewertet.

Verifier können vom Agenten bereitgestellte Artefakte innerhalb des Verifier-Containers ausführen. Kann der eingereichte Code den Prüfer oder dessen Belohnungsausgabe erreichen, kann er den Bewertungsvorgang beeinflussen, anstatt die Aufgabe zu erledigen. Version 4.1 verwendet in betroffenen Verifiern RewardKit Workers. RewardKit ist ein optionales Paket des Harbor-Teams, das die Erstellung von Verifiern vereinfacht.

Ein Worker führt eingereichten Code als Benutzer ohne privilegierte Rechte aus, verhindert das Lesen der Tests oder das Schreiben der Belohnung und beendet vor der Rückgabe eines Ergebnisses die von ihm gestarteten Prozesse. Laut Snorkel AI stärkt dies die Bewertungsgrenze, ersetzt jedoch keine weitergehenden Sandbox- und Ressourcensteuerungen. Die Veröffentlichung enthält außerdem Korrekturen an Verifiern, die die Bewertungskorrektheit verbessern sollen.

Der Benchmark geht weitere Ursachen irreführender Scores mit Aufgabenverläufen, öffentlichen Verifiern und einer offenen Triage von Problemen an. Die frühere Version 4.0 reduzierte den Aufgabensatz von 74 auf 66, entfernte gesättigte oder problematische Aufgaben und korrigierte 19 Aufgaben. Außerdem wurden Ressourcenlimits neu kalibriert und für jede Aufgabe ein Agenten-Timeout von acht Stunden festgelegt.

Fixierte Versionen und ein CPU-only-Datensatz

Terminal-Bench 4.1 ergänzt vorgefertigte Release-Images, die per Digest für Aufgabenumgebungen, Verifier und Compose-Dienste fixiert sind. Zudem werden Container-Images fixiert und Aufgabenabhängigkeiten gesperrt. Das hilft Forschern, Durchläufe anhand definierter Versionen zu reproduzieren.

Die Veröffentlichung enthält einen CPU-only-Datensatz mit 63 Aufgaben. Er wurde mit demselben Release-Tag und denselben Aufgabenrevisionen wie der vollständige Datensatz veröffentlicht. Es wurden keine Aufgaben hinzugefügt oder entfernt, aber alle 66 Aufgaben wurden geändert. Daher sollten Ergebnisse die genaue Benchmark-Version nennen.

Als die Durchläufe des 4.0-Leaderboards mit den 4.1-Verifiern erneut bewertet wurden, änderten sich etwa 1 % der Belohnungen. Die Leaderboard-Scores blieben innerhalb der zuvor gemeldeten Konfidenzintervalle. Für Nutzer des Benchmarks verändert die Veröffentlichung damit die Infrastruktur für Bewertung und Reproduzierbarkeit, ohne einen neuen Aufgabensatz einzuführen. Für Forscher, die Agentenergebnisse vergleichen, sind die genaue Version, die Aufgabenrevisionen und die Verifier-Konfiguration nun unmittelbar für die Interpretation der Scores relevant.