Everpure-Benchmark zeigt: Frontier-Modelle werden für Programmieraufgaben übermäßig eingesetzt

Ein Benchmark rund um den Code von Unternehmen

Everpure zufolge zeigen öffentliche Modell-Ranglisten nicht, wie gut ein Coding-Agent mit der Codebasis eines bestimmten Unternehmens zurechtkommt. Der Ansatz des Unternehmens besteht darin, aus der Codehistorie einen Benchmark zu erstellen, der auf echten von Entwicklern erstellten Problemen, Fehlerbehebungen und Tests basiert.

Das Unternehmen erstellte zunächst eine interne Version für seine private Codebasis und bewertet neue Modelle, sobald sie veröffentlicht werden. Nun hat es eine öffentliche Version auf Basis der Open-Source-Teamchat-Anwendung Zulip veröffentlicht. Das Repository enthält die Aufgaben, Harness-Konfigurationen, Bewertungen und Rohdaten, sodass Organisationen das Setup kopieren und auf ihren eigenen Code anwenden können.

In diesem Zusammenhang ist ein Harness die Software, die ein Modell steuert, indem sie Dateien liest, Befehle ausführt und entscheidet, was als Nächstes versucht wird. Everpure testete 21 Modell- und Harness-Kombinationen anhand von 107 gemeinsamen Aufgaben. Jede Kombination unternahm pro Aufgabe einen Versuch, ohne Wiederholungen oder menschliche Unterstützung.

Große Kostenunterschiede zwischen den Modellen

Claude Opus 5 löste laut Everpure im Claude-Code-Harness 94,4 % der Aufgaben, bei Kosten von 3,68 $ pro Aufgabe. GPT-5.6-terra löste in Codex 85,0 % für 0,54 $ pro Aufgabe. Gemma-4-31B, ein Open-Weight-Modell, das auf der eigenen Hardware des Unternehmens gehostet und über das Open-Source-Harness pi ausgeführt wurde, löste 56,1 % der Aufgaben für 0,044 $ pro Aufgabe.

Everpure bezeichnet dies als einen Preisunterschied von 84-mal zwischen dem teuersten und dem günstigsten Beispiel, bei einem Unterschied von 38 Prozentpunkten bei der Lösungsquote. Im Vergleich zu Claude Opus 5 in Claude Code berechnet das Unternehmen, dass GPT-5.6-terra pro Aufgabe 85 % weniger kostet und eine um 9,3 Prozentpunkte niedrigere Lösungsquote erreicht. Gemma-4-31B kostet 99 % weniger, bei einer um 38,3 Prozentpunkte niedrigeren Lösungsquote.

Die angegebenen Kosten für selbst gehostete Modelle basieren auf dem öffentlichen Preis pro Token, den ein Hosting-Anbieter für die Bereitstellung des Modells verlangen würde. Sie stellen die Kosten für die Anmietung des Modells dar, nicht die Kosten für den Besitz von GPUs, die Stromversorgung oder den Betrieb eines Clusters mit entsprechendem Personal.

Routineaufgaben von Frontier-Modellen wegverlagern

Everpure zufolge wechselte das Unternehmen bei Power-Usern von der ausschließlichen Nutzung von Claude zu einem GPU-Cluster vor Ort. Sein System leitet Routineaufgaben an gehostete Modelle weiter und sendet anspruchsvollere Aufgaben an Cloud-Frontier-Modelle. Damit bezeichnet das Unternehmen die größte und teuerste Modellklasse, die pro Nutzung gemietet wird. Wenn der Cluster ausgelastet ist, wählt es außerdem das günstigste Frontier-Modell, das für eine Aufgabe geeignet ist.

Das Unternehmen sagt, dieser Wechsel habe seine GPU-Investition in weniger als einem Quartal wieder eingespielt. Zugleich weist es darauf hin, dass das Ergebnis auf seiner eigenen Arbeitsverteilung beruht und bei anderen Organisationen anders ausfallen kann. Der Benchmark soll zeigen, welche Aufgaben günstigere Modelle bewältigen können und für welche weiterhin ein Frontier-Modell erforderlich ist.

Everpure zufolge ist die Zulip-Stichprobe klein, sodass Unterschiede von ein oder zwei Aufgaben zufallsbedingt sein können. Bei der Rangfolge behandelt das Unternehmen Kombinationen, die höchstens 2 Prozentpunkte auseinanderliegen, als praktisch gleichwertig. In diesem Fall erhält die günstigere Option den Vorrang. Die zentrale Empfehlung der Quelle für Nutzer lautet, die Leistung zunächst anhand der eigenen Aufgabenhistorie zu messen, bevor eine Routing-Strategie festgelegt wird, statt jede Programmieranfrage an das Modell an der Spitze einer öffentlichen Rangliste zu senden.