Qodo halbiert Kosten des Empfehlungsagenten mit GEPA-optimiertem Prompt

Was der Empfehlungsagent leistet

Qodo argumentiert, dass Fehlalarme nur eine Quelle von Rauschen bei KI-gestütztem Code-Review sind. Ein Befund kann technisch vernünftig sein und trotzdem etwas, das ein Team immer wieder ignoriert. Deshalb personalisiert Qodo das Review anhand der eigenen Historie eines Teams.

Der Empfehlungsagent läuft, nachdem der Review-Agent seine Befunde erstellt hat. Er erhält diese Befunde, den Diff des Pull Requests und den Repository-Kontext und durchsucht dann einen vorverarbeiteten Index früherer PR-Vorschläge und der Reaktionen des Teams darauf. Für jeden Befund sagt er voraus, ob das Team ihn wahrscheinlich umsetzen wird, statt nur die technische Korrektheit zu beurteilen.

Der Agent gibt "yes", "no" oder "maybe" zurück, dazu eine Begründung und Verweise auf relevante frühere PRs. Im PR-Review von Qodo erscheinen diese Vorhersagen als Sternebewertung: drei Sterne für "yes", zwei für "maybe" und einer für "no".

Instabile Labels und ein eigenes GEPA

Laut Qodo waren die Labels des Agenten mit dem damaligen Produktiv-Prompt nicht stabil. Zwei Durchläufe für denselben PR konnten unterschiedliche Labels liefern. In einem Evaluierungsset mit 200 PRs wechselten 20,7 % der Labels weich zwischen "yes" und "maybe" oder zwischen "maybe" und "no", während 4,3 % direkt zwischen "yes" und "no" umschlugen.

Qodo konzentrierte sich auf die System-Anweisungen und behielt Aufgabe, Tools und Ausgabe-Labels bei. Es wurden keine Modellgewichte trainiert. GEPA ist ein Algorithmus, der Prompts iterativ verbessert, indem er die Ausgaben eines Agenten und Evaluierungs-Feedback analysiert. Lange Agenten-Traces begrenzen, wie viele Beispiele ein Reflektor gemeinsam betrachten kann, und verrauschtes Verhalten kann einen Zufall wie eine allgemeine Erkenntnis aussehen lassen. Deshalb baute Qodo eine eigene zweistufige Version:

• Jeder PR wird zweimal ausgeführt, und ein LLM analysiert die vollständigen Traces, um eine strukturierte Bewertung zu erstellen: was gut lief, was schiefging und was die Unterschiede zwischen den Durchläufen erklären könnte.
• Die strukturierten Analysen über den gesamten Trainingsdatensatz werden in einem einzigen LLM-Aufruf mit hohem Reasoning-Aufwand aggregiert.

Der Datensatz stammte aus internen PR-Reviews von Qodo und wurde von einem Fable-Agenten geprüft, mit einem Agenten pro PR. Er umfasste rund 400 PRs aus fünf Repositories, chronologisch aufgeteilt in etwa 120 Trainings-, 80 Validierungs- und 200 Test-PRs. Jedes Beispiel enthält bis zu 10 Befunde mit einem booleschen Akzeptanz-Label.

Die Optimierung startete mit einem Prompt aus 43 Wörtern, der nur das Ziel des Agenten beschrieb. Qodo führte einen einzigen breiten Schritt über den gesamten Trainingsdatensatz aus und begrenzte jede Reflexion auf 200 Wörter und den finalen Prompt auf 1.000 Wörter. In der Offline-Validierung sanken die harten Wechsel gegenüber dem Start-Prompt von 8,2 % auf 2,2 % und die Wechsel insgesamt von rund 27 % auf 20 %.

Ergebnisse des A/B-Tests im Produktivbetrieb

Qodo verglich den ausgewählten Prompt mit dem bestehenden Produktiv-Prompt in einem 50/50-A/B-Test, bei dem die Zuteilung pro PR über alle Kunden hinweg erfolgte. Nur der System-Prompt änderte sich; Modell, Tools und UI-Verhalten blieben unverändert. Der Test umfasste 27.582 Review-Durchläufe über etwa 21.000 PRs.

• Unter den von Entwicklern umgesetzten Befunden sank der Anteil mit dem Label "no" (die Miss Rate) von 7,83 % auf 4,46 %.
• Die durchschnittlichen Kosten des Empfehlungsagenten pro Review-Durchlauf sanken von 0,24 auf 0,12 US-Dollar.
• Die mittlere Latenz sank von 40 auf 30 Sekunden.
• Die Precision war vergleichbar, ohne statistisch signifikanten Unterschied.

Qodo weist auf Grenzen dieser Zahlen hin. Die Qualitätsanalyse umfasste nur PRs mit verfügbaren Attributions-Labels und mindestens einem umgesetzten Befund. Die Miss Rate misst verpasste Entwicklerreaktionen, nicht die Quote falscher Review-Vorschläge. Die Einsparungen bei Kosten und Latenz beziehen sich auf die Komponente des Empfehlungsagenten im Code-Review.

Laut Qodo gab der überarbeitete Prompt dem Agenten klarere Hinweise, wie er relevante historische Belege findet, redundante Suchen beendet und mit Unsicherheit umgeht, und schärfte die Unterscheidung zwischen der Vorhersage der Teamreaktion und der Beurteilung der Codequalität. Der Prompt wurde in den Produktivbetrieb übernommen.

Erkenntnisse und Einordnung

Qodo zieht vier Lehren. Erstens: mit einem minimalen Prompt beginnen, der sich leichter optimieren lassen kann als ein manuell abgestimmter Produktiv-Prompt. Zweitens: aus vollständigen Agenten-Traces lernen, einschließlich Tool-Auswahl und Beweissammlung, nicht nur aus Ein- und Ausgaben. Drittens: das Rauschen messen, indem man den Agenten mehrfach auf dem Validierungsset laufen lässt, bevor man den Scores traut. Viertens: jedes Rezept mehr als einmal ausführen und die Kandidaten vergleichen.

Für Teams, die Qodo nutzen, lautet das berichtete Ergebnis des Unternehmens: Entwickler übernehmen mehr der Befunde, auf die sie reagieren, bei geringeren Betriebskosten für diese Komponente. Für die Branche insgesamt ist die Arbeit ein Beispiel dafür, Prompt-Optimierung als messbaren Engineering-Prozess mit expliziten Zielkonflikten zwischen Qualität, Kosten, Latenz und Stabilität zu behandeln.