GEPA senkt Kosten für Coding-Agenten in Everpure-Tests um bis zu 70 Prozent

GEPA, ein vom Everpure Blog beschriebener Prompt-Optimierer, senkte in Tests die Kosten für Coding-Agenten um 40 bis 70 Prozent, indem es Anweisungen an eine Codebasis anpasste. Die Experimente ergaben keine messbare Verbesserung der Genauigkeit, zeigten aber, dass ein stärker fokussiertes Verhalten der Agenten unnötige Modellarbeit reduzieren kann.
- GEPA erzeugte repositoriespezifische Anweisungen für Coding-Agenten.
- Kostenoptimierte Anweisungen senkten die getesteten Kosten um 40 bis 70 Prozent.
- In den Haupttests wurde keine messbare Veränderung der Genauigkeit festgestellt.
- GPT-5.6 Luna benötigte in einem Vergleich 41 Prozent weniger Modellrunden.
- Feedback zu Wiederholungsversuchen verbesserte die Genauigkeit bei jedem Modell um etwa 10 Punkte.
Aus einem allgemeinen Coding-Agenten wird ein Spezialist
Coding-Agenten starten typischerweise mit Anweisungen, die für viele Repositories funktionieren sollen. Laut dem Everpure Blog erklären diese Prompts in der Regel keine repositoriespezifischen Details, etwa in welcher Tabelle die maßgeblichen Umsatzzahlen stehen, wie Zeitstempel gespeichert werden oder wie mit fehlenden Werten umzugehen ist.
GEPA soll diese fehlende Spezialisierung erzeugen. Entwickler stellen Übungsaufgaben aus ihrer eigenen Codebasis bereit. Anschließend prüft ein leistungsfähigeres Modell die Arbeitsprotokolle des Agenten, fehlgeschlagene Tests und die von den Ingenieuren ausgelieferte Lösung. Es formuliert überarbeitete Anweisungen und behält sie nur dann bei, wenn sie bei denselben Aufgaben besser abschneiden.
Die Methode verändert Textanweisungen statt Modellgewichte. Laut dem Blog bleiben die daraus entstehenden Vorgaben dadurch lesbar und können zugleich praktisches Wissen über das Repository sowie Hinweise zur Arbeitsweise des Agenten enthalten.
Die Kosten sanken, obwohl die Genauigkeit gleich blieb
Everpure testete GEPA mit acht Modellen anhand seines Zulip-Coding-Benchmarks. Im ersten, auf Genauigkeit ausgerichteten Experiment führten die Änderungen zu keiner messbaren Verbesserung. Einige Modelle lösten etwas mehr Aufgaben, andere etwas weniger. Keine Differenz war jedoch größer als die Abweichung zwischen identischen Durchläufen.
Die Interpretation des Blogs lautet, dass Anweisungen zwar die Arbeitsweise eines Modells verändern können, nicht aber die Schwierigkeit eines Problems, das es durchdenken kann. Die Anweisungen sorgten allerdings für ein fokussierteres Verhalten der Agenten. Sie verringerten etwa Aktionen wie den Versuch, Tests auszuführen, die in der Sandbox nicht laufen konnten.
Wurde bei der Bewertung eine kleine Kostenstrafe berücksichtigt, erreichten die Einsparungen bei den getesteten Modellen 40 bis 70 Prozent. Für GPT-5.6 Luna meldet der Blog keinen feststellbaren Genauigkeitsverlust, bei den anderen Modellen dagegen einen möglichen kleinen Verlust.
In einem Vergleich mit GPT-5.6 Luna reduzierten kostenoptimierte Anweisungen die Zahl der Modellrunden auf 0,59 gegenüber einem Ausgangswert von 1,00. Die Versuche, Tests auszuführen oder Pakete zu installieren, sanken von 4,4 auf 0,1 pro Durchlauf, während die Code-Suchen nahe am Ausgangswert blieben. Weniger Runden sind laut Blog relevant, weil in jeder Runde der bisherige Gesprächsverlauf erneut übertragen wird.
Wiederholungsversuche halfen jedem Modell stärker als die Prompt-Optimierung
Die Forscher testeten außerdem ein Verfahren mit Feedback-Runden. Nach einer fehlgeschlagenen Lösung erhielt der Agent die Nachricht „noch nicht behoben“ und konnte bis zu zwei weitere Versuche unternehmen. Dieses einfache Feedback erhöhte die Genauigkeitsrate laut Blog bei jedem Modell um etwa 10 Punkte und wirkte damit stärker als jede von GEPA erzeugte Anweisung.
Die Kosteneinsparungen durch GEPA blieben weitgehend erhalten, wenn Wiederholungsversuche erlaubt waren. Im Vergleich mit einem einzigen Versuch senkten allein auf Genauigkeit ausgerichtete Anweisungen die Kosten um 14 bis 22 Prozent. Kostenoptimierte Anweisungen erhöhten die Einsparungen auf 42 Prozent bei GPT-5.6 Luna und GPT-5.6 Sol sowie auf 70 Prozent bei Claude Haiku 5.5. Laut Blog waren in jedem Fall 29 oder 30 der 30 Aufgaben günstiger.
Für Nutzer, die Agenten wiederholt in demselben privaten Repository einsetzen, deuten die Ergebnisse darauf hin, dass repositoriespezifische Anweisungen die laufenden KI-Kosten senken könnten, ohne den Agenten leistungsfähiger zu machen. Für die Anwendung sind Beispiele für häufige Aufgaben und eine Möglichkeit erforderlich, zu prüfen, ob jede Aufgabe korrekt abgeschlossen wurde.
Pure Storage: Your Coding Agent Is a Generalist. Here’s How to Make It a Cheaper Specialist


