Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Cline-Bench bewertet KI-Agenten anhand von 47 realen Programmieraufgaben

19. November 2026, 19:43Von der KI Nachrichten RedaktionQuelle: Cline
Cline-Bench bewertet KI-Agenten anhand von 47 realen Programmieraufgaben
Bild: Cline

Cline hat Cline-Bench vorgestellt, einen Benchmark zur Messung, wie zuverlässig KI-Agenten reale Nutzeranfragen in bestehenden Softwareprojekten bearbeiten. Die erste Auswertung umfasst 47 Programmieraufgaben, wobei jedes Modell pro Aufgabe dreimal ausgeführt wurde.

Das Wichtigste in Kürze
  • Cline-Bench umfasst 47 agentische Programmieraufgaben.
  • Jedes Modell wurde pro Aufgabe dreimal ausgeführt.
  • Gemini 4 Argon erzielte mit 51,1 % die höchste Erfolgsquote.
  • Der Benchmark weist pass@1, pass@3 und pass^3 aus.
  • Cline plant, mehrstufige Interaktionen und Aufgaben außerhalb des Programmierens hinzuzufügen.

Ein Benchmark für reale Softwareprojekte

Jede Aufgabe in Cline-Bench umfasst eine Nutzeranfrage, ein ausführbares Ausgangs-Repository und Tests, die sowohl die gewünschten Änderungen als auch relevantes bestehendes Verhalten abdecken. Cline zufolge hat das Unternehmen erhebliche Entwicklungs- und Prüfaufwände in die Erstellung, Reparatur und Validierung dieser Aufgabenpakete investiert.

Der aktuelle Benchmark konzentriert sich auf Programmieraufgaben in einer einzigen Interaktion. Cline plant, ihn auf mehrstufige Interaktionen auszuweiten, bei denen Nutzer Feedback oder zusätzliche Anweisungen geben, sowie auf Anwendungsfälle außerhalb des Programmierens.

Um sowohl Leistungsfähigkeit als auch Wiederholbarkeit zu messen, führt Cline jedes Modell bei jeder Aufgabe dreimal aus. Der Benchmark weist pass@1 aus, die mittlere Erfolgsquote über alle Durchläufe, sowie pass@3, den Anteil der Aufgaben mit mindestens einem erfolgreichen Durchlauf, und pass^3, den Anteil der Aufgaben, die in allen drei Durchläufen erfolgreich gelöst wurden.

Gemini 4 Argon führt die ersten Ergebnisse an

Gemini 4 Argon erzielte mit 51,1 % die höchste Erfolgsquote. Opus 5.5 folgte mit 48,9 % gleichauf mit Gemini 4 Carbon, während Sonnet 5.5 48,2 % erreichte.

GPT 6 Astra und DeepSeek V4.1 Flash 1017 erzielten jeweils 44,7 %. Es folgten GPT 6.1 Sol mit 44,0 % und Kimi K3.1 Pro mit 43,3 %. GLM 5.3 erreichte 34,0 %, Mistral Large 4 kam auf 29,1 % und Nemotron 3.5 Super VL erzielte 9,2 %.

Cline bezeichnet die Ergebnisse als vorläufig. Die ausgewiesenen Bootstrap-Konfidenzintervalle auf Aufgabenebene von 95 % gelten nur für den ausgewählten Aufgabensatz. Das Unternehmen betont, dass daraus nicht folgt, dass kleine Unterschiede in der Rangfolge auf Unterschiede in der Leistungsfähigkeit der Modelle hindeuten.

Konsistenz, Schutzmaßnahmen und Effizienz im Test

Cline zufolge ist der Benchmark darauf ausgelegt, die ursprüngliche Anfrage, ihre Einschränkungen und den dem Agenten verfügbaren Kontext zu bewahren. Außerdem werden Tests und Auswerter auf das geforderte Verhalten geprüft, nicht unterstützte Annahmen und Fehler bei der Bewertung behoben sowie Änderungen mit korrekten und absichtlich fehlerhaften Implementierungen validiert.

Die Lösungen werden in einer separaten, sauberen Umgebung bewertet, geschützte Tests werden wiederhergestellt, und fehlende oder übersprungene erforderliche Tests gelten als Fehlschläge. Cline testet den Auswerter zudem mit absichtlich manipulierten Lösungen. Diese Maßnahmen sollen verhindern, dass Agenten eine Bewertung erhalten, indem sie Tests abschwächen, Prüfungen überspringen oder ein bestandenes Ergebnis vortäuschen.

Für die Auswertung wurden Cline CLI 3.0.74 und ein Solver-Limit von vier Stunden verwendet. Die Laufzeit- und Interaktionsdaten umfassen die durchschnittliche und mediane Solver-Zeit sowie die Zahl der Interaktionen des Assistenten, wobei die Einrichtung der Umgebung und die Bewertung ausgeschlossen sind. Gemini 4 Argon erreichte eine durchschnittliche Solver-Zeit von 27,8 Minuten und durchschnittlich 80,5 Interaktionen des Assistenten, während GPT 6 Astra im Durchschnitt 14,2 Minuten und 59,9 Interaktionen benötigte.

Für Nutzer und Entwickler bietet Cline-Bench einen Einblick in die Leistung von Agenten, der über einen einzigen erfolgreichen Versuch hinausgeht. Die wiederholten Durchläufe, die auf Repositories basierenden Aufgaben und die Schutzmaßnahmen bei der Bewertung sollen zeigen, wie häufig Agenten die erforderlichen Änderungen abschließen und wie konsistent sie dabei sind. Die Ergebnisse bleiben auf die ausgewählten Programmieraufgaben beschränkt. Umfassendere Auswertungen sind für künftige Erweiterungen vorgesehen.

Ähnliche Meldungen

Visual Cipher Bench zeigt Schwächen von KI-Agenten bei verborgenen Regeln
Forschung18. November 2026, 11:39

Visual Cipher Bench zeigt Schwächen von KI-Agenten bei verborgenen Regeln

Navers Lab von Einsia AI hat Visual Cipher Bench vorgestellt. Der Benchmark prüft, ob KI-Agenten verborgene Regeln aus visuellen Hinweisen erkennen und Aufgaben mit…

Gemini 4 Carbon führt Ultralytics’ VLM-Auto-Annotation-Benchmark an
Forschung11. November 2026, 12:14

Gemini 4 Carbon führt Ultralytics’ VLM-Auto-Annotation-Benchmark an

Gemini 4 Carbon hat unter 45 Vision-Language-Modellen den Spitzenplatz im UL37-Auto-Annotation-Benchmark von Ultralytics erreicht. Das Modell erzielte 0,584 mAP 50 sowie…

Terminal-Bench 4.1 verschärft Bewertung für KI-Terminal-Agenten
Forschung10. November 2026, 00:13

Terminal-Bench 4.1 verschärft Bewertung für KI-Terminal-Agenten

Terminal-Bench 4.1 ist ab sofort verfügbar und bietet eine stärkere Isolierung der Verifier, Verbesserungen bei der Reproduzierbarkeit sowie einen CPU-only-Datensatz mit…