Cline-Harness bringt NVIDIA Nemotron 3.5 Super VL auf 61,8 Prozent im Terminal-Bench 2.1

Benchmark-Ergebnis im Vergleich von vier Harnesses

Cline hat Nemotron-3.5 Super VL 120B A12B im Terminal-Bench 2.1 getestet und den eigenen Harness mit drei weiteren Open-Source-Harnesses verglichen, die mit A, B und C bezeichnet sind. Laut Cline lagen die Ergebnisse bei 61,8 Prozent für Cline, 53,9 Prozent für Harness A, 51,7 Prozent für Harness B und 44,9 Prozent für Harness C.

Cline erzielte sein Ergebnis bei ausgeschaltetem Thinking, während die Harnesses A und C mit hohen Reasoning- beziehungsweise Effort-Einstellungen liefen. Das Unternehmen betont die Grenzen des Vergleichs: Er zeige, wie stark die Ergebnisse je nach Software rund um dasselbe Modell schwanken können, ermittle aber nicht, welche Cline-Funktionen den Unterschied ausmachen, und messe auch nicht, wie viel Rechenaufwand sie einsparen.

Cline definiert einen Agent-Harness als die Software rund um das Modell: die Anweisungen, die es erhält, die Werkzeuge, die es nutzen kann, und die Prüfungen, die seine Arbeit lenken. Diese Teile von Cline habe man für Open-Weight-Modelle weiter verfeinert, darunter auch für Nemotron 3.5 Super VL.

Was Cline an seinem Harness geändert hat

Cline nennt drei Arbeitsbereiche.

• Planen vor dem Programmieren: Cline fordert das Modell auf, zuerst die Aufgabe zu verstehen, einen Ansatz zu wählen und erst dann mit Änderungen zu beginnen. Das Unternehmen geht davon aus, dass das Modell so weniger Aufwand für die Entscheidung über den nächsten Schritt betreiben muss, hat Token-Einsparungen aber nicht gemessen und den Effekt der Planungsanweisung nicht isoliert.
• Stall-Erkennung: Der Stall-Detektor von Cline kann einen Versuch beenden, der eine Aktion immer wieder wiederholt, und ein strukturiertes Ereignis mit Fehlerklasse, Wiederherstellbarkeit und Iterationsnummer festhalten. Laut Cline lassen sich gescheiterte Läufe dadurch leichter untersuchen.
• Verhaltensprüfungen: Der Agent überprüft das Verhalten, von dem eine Aufgabe abhängt, statt bei einem oberflächlichen Test stehen zu bleiben.

Cline nennt zwei Beispiele aus der Evaluation. Bei chess-best-move wandelte Cline das Brett in FEN-Notation um und führte eine erschöpfende Schachmatt-Suche durch. Dabei fand es zwei Matts in einem Zug, e2e4 (Qe4#) und g2g4 (g4#), in einem Lauf über 58 Logzeilen. Harness A benötigte 29 Tool-Aufrufe und öffnete das Brettbild mindestens sechsmal erneut, bevor es in ein Timeout lief.

Bei headless-terminal führten die Harnesses A und B beide echte Tests aus. Cline schloss seine Prüfungen in fünf Befehlen ab und nutzte dafür eine detaillierte Checkliste, die sowohl abdeckte, ob Strg-C ein Signal auslöste, als auch, ob die Shell danach noch lief. Laut Cline übersahen die engeren Prüfungen in den anderen Läufen genau das Verhalten, das schließlich versagte.

Ein interner Nemotron-Agent in Slack

Über den Benchmark hinaus hat Cline einen internen Agenten auf Basis von Nemotron gebaut, der im Slack mit dem Team zusammenarbeitet und im Hintergrund Cline ausführt. Er kann Sandboxes und Container starten und leistungsfähigere Modelle hinzuziehen, wenn eine Aufgabe das erfordert. Das Team nutzt ihn, um interne Aufgaben zu priorisieren und von Nutzern gemeldete Probleme zu untersuchen und zu beheben.

Ein Beispiel war ein fehlgeschlagener Export von Windows-Diagnosedaten. Ein Teammitglied bat den Agenten, einen Bericht zu prüfen, in dem Cline versuchte, einen bereits vorhandenen Downloads-Ordner anzulegen, auf einen EEXIST-Fehler stieß und den Diagnosebericht nicht schreiben konnte. Cline beschreibt das als die Art von Arbeit, bei der Nemotron helfen soll: einen Nutzerbericht aufnehmen, den Fehler nachverfolgen und dem Team einen brauchbaren nächsten Schritt liefern.

Was das für Nutzer von Open-Weight-Modellen bedeutet

Das Ergebnis legt nahe, dass der Harness rund um ein Open-Weight-Modell die Benchmark-Resultate spürbar verschieben kann, selbst wenn das Modell dasselbe bleibt. Cline versteht den Benchmark als Möglichkeit, die Leistung zu vergleichen, und den internen Agenten als Möglichkeit, zu sehen, wie das Modell mit realer Teamarbeit zurechtkommt.

Das Unternehmen benennt offen, was noch unbewiesen ist, darunter Token-Einsparungen und die Einzelwirkung der Planungsanweisung. Man wolle Cline anhand von Benchmark-Läufen und der Probleme, die das Team täglich bearbeitet, weiter verfeinern.