AI21 senkt die Kosten von GitLab Duo Code Review um 98 Prozent durch Feintuning des Harness

Eine Pipeline mit vier Stufen und einem teuren Review-Schritt

Duo Code Review ist der Code Review Flow der GitLab Duo Agent Platform. Er prüft Merge Requests und postet Kommentare. Zum Testzeitpunkt lief standardmäßig Claude Sonnet 5, und GitLab hat den auf LangGraph basierenden Flow in seinem Source-available-Repository ai-assist veröffentlicht. Das sei, zusammen mit einem öffentlichen Benchmark, der Grund gewesen, warum AI21 dieses System gewählt habe.

Der Flow besteht aus vier Modellstufen, jede mit eigenem Prompt und höchstens zwei Tools. Die Exploration listet den Repository-Baum rund um die geänderten Dateien auf. Das File Fetching liest verwandte Dateien wie Tests, Aufrufer und benutzerdefinierte Anweisungen. Die Analyse macht aus dem abgerufenen Material Notizen. Das Review liest den Diff und die meisten geänderten Dateien vollständig und postet dann Kommentare.

AI21 weist darauf hin, dass die eigenen generischen Optimierungen, die für Coding-Agenten wie Claude Code gebaut sind und eine wachsende Konversation immer wieder neu senden, hier null Anfragen verändert hätten. Jede Stufe von Duo Code Review starte mit einem frischen Prompt, es gebe also keinen Verlauf zu kürzen. Laut AI21 braucht jeder Harness seine eigene sorgfältige Analyse.

Die Ausgangskosten lagen bei 0,589 US-Dollar pro Pull Request. Auf die Review-Stufe entfallen davon 65 Prozent, allein ihr Output macht ein Drittel der Gesamtsumme aus: Sonnet 5 schreibt pro Review rund 18.600 Token, fast ausschließlich Reasoning. Exploration und Fetching machen 27 Prozent aus, die Analyse 9 Prozent.

Verdichtung und Modellwechsel, Schritt für Schritt

Die erste Änderung war, den Review-Kontext mit Regeln statt mit einem Modell zu verdichten, sodass nichts zusammengefasst wird. Beim File Windowing bleibt jeder geänderte Hunk plus 25 Zeilen auf beiden Seiten des alten und des neuen Zeilenbereichs erhalten. Die Diff-Verdichtung schreibt den zeilenweisen Diff in einen Standard-Unified-Diff mit denselben Hunks und Zeilennummern um. Der mediane Review-Prompt schrumpfte von 59K auf 32K Token, die Ausgaben für den Review-Kontext sanken um 62 Prozent.

Die Rechnung sank allerdings deutlich weniger. Mit aktivierter Verdichtung schrieb Sonnet 5 rund 23.800 Output-Token pro Review statt 18.600. AI21 sagt, man habe nicht isoliert, woran das liegt. Für sich genommen senkte die Verdichtung die Kosten von 0,589 auf 0,475 US-Dollar, eine Ersparnis von 19,4 Prozent, bei 47,2 Prozent F1 und 1,16-facher Latenz.

Als Nächstes folgte der Modelltausch Stufe für Stufe. Claude Haiku 4.5 wählte bei Exploration und Fetching dieselben Dateien wie Sonnet 5, doch bei der Analyse sank die Qualität leicht und beim Review brach sie stark ein. Auf die beiden mechanischen Stufen beschränkt, senkte Haiku die Rechnung bei unverändertem F1 um 15,4 Prozent, mit Verdichtung um 34,6 Prozent.

Danach verlagerte AI21 alle vier Stufen auf DeepSeek V4 Flash, ein Open-Weight-Modell, das das Unternehmen mit vLLM auf H100-GPUs betreibt. Zum Listenpreis von Together AI kostet es pro Input-Token 14-mal weniger und pro Output-Token 36-mal weniger als Sonnet 5. Die Kosten fielen auf 0,086 US-Dollar, eine Ersparnis von 85,3 Prozent, bei 48,4 Prozent F1 und 0,37-facher Latenz. Etwa jeder siebte Review-Aufruf mit DeepSeek endete, ohne etwas zu posten, doch GitLabs eigener Korrekturschritt wiederholte jeden dieser Aufrufe, und die Wiederholungen sind in den Kosten enthalten.

Warum beide Maßnahmen nötig waren

Die Ersparnis stockte bei 85 Prozent wegen des Deployment-Fensters. AI21s DeepSeek-Deployment akzeptiert Prompts bis 256K Token, längere bleiben bei Sonnet 5. Ohne Verdichtung erreichen manche Review-Prompts 480K, und 3 der 50 Pull Requests überschritten die Grenze, was 11 Fallback-Aufrufe auslöste. Diese Aufrufe trugen 77 Prozent der verbleibenden 0,086 US-Dollar pro PR.

Mit wieder aktivierter Verdichtung passten die Prompts. Der größte Review-Prompt schrumpfte von 480K auf 109K Token, und es gab keinen Fallback mehr. Die Kosten erreichten 0,0135 US-Dollar pro PR, 97,7 Prozent unter dem Ausgangswert, bei 47,2 Prozent F1 und 0,35-facher Latenz, gegenüber 46,4 Prozent F1 beim Ausgangswert. Ein zweiter Judge bewertete innerhalb eines halben Punkts.

Die eigene Token-Ersparnis der Verdichtung beträgt an diesem Punkt etwa 0,006 US-Dollar pro PR. Laut AI21 liegt ihr Nutzen in der Passform: Vor Claude ist sie eine Kostenoptimierung, vor einem 256K-Deployment hält sie dagegen jedes Review auf dem Open-Weight-Modell. Ein 1M-Deployment hätte den Fallback ebenfalls beseitigt, so AI21, es hätte aber nicht verkleinert, was jedes Review liest, und würde sich auf das Modell bei Längen stützen, bei denen seine Qualität weiter umstritten sei.

Manche Ideen brachten nichts. Wurde der Reasoning-Aufwand bei 30 Probe-Reviews auf „max“ erhöht, stieg der Recall von 38,9 auf 52,8 Prozent, während sich F1 von 35,0 auf 35,4 Prozent bewegte, bei 3,5-facher Latenz. Prompt Caching fand wenig Wiederverwendbares, weil die Stufen untereinander kein gemeinsames Präfix haben.

Was das bedeutet und wo die Grenzen liegen

AI21 zieht eine einfache Lehre: Das Modell bestimmt den Preis, und der Harness entscheidet, ob man ihn auch nutzen kann. Für Teams, die Agenten-Pipelines betreiben, legt das Ergebnis nahe, Modell und Kontext jeder Stufe getrennt zu betrachten, statt eine generische Optimierung anzuwenden.

Die Einschränkungen sind erheblich. Der Test nutzte öffentliche Pull Requests, ohne GitLab-Produktionsverkehr oder Kundendaten. Die Qualität ist F1 auf einem öffentlichen Benchmark, bewertet von zwei Judges. Die Kosten sind Token-Ausgaben zu veröffentlichten Listenpreisen, auch beim selbst betriebenen Modell, und spiegeln daher nicht AI21s eigene Infrastrukturkosten wider. Die Konfigurationen wurden auf denselben 50 Pull Requests ausgewählt und abgestimmt, auf denen sie bewertet wurden, und wie sie sich bei einer neuen Codebasis schlagen, ist laut AI21 ungetestet.