Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Cloudflare senkt Kosten für KI-Code-Reviews um 68 Prozent durch besseres Prompt Caching

19. Oktober 2026, 21:12Von der KI Nachrichten RedaktionQuelle: Cloudflare
Cloudflare senkt Kosten für KI-Code-Reviews um 68 Prozent durch besseres Prompt Caching
Bild: Cloudflare

Cloudflare zufolge sind die durchschnittlichen Kosten eines Reviews durch den internen KI-Code-Reviewer um 68 Prozent gesunken, von 2,43 auf 0,77 US-Dollar, bei weiterhin hohem Aufwand für die Codequalität. Zudem dauert ein Review im Median nun 1 Minute 32 Sekunden statt 4 Minuten 9 Sekunden.

Das Wichtigste in Kürze
  • Cloudflare zufolge sanken die Kosten für KI-Code-Reviews um 68 Prozent, von 2,43 auf 0,77 US-Dollar pro Review, bei hohem Aufwand für die Codequalität.
  • Die mediane Dauer eines Reviews fiel von 4 Minuten 9 Sekunden auf 1 Minute 32 Sekunden.
  • Änderungen am Prompt Cache senkten die Kosten pro Review von 2,47 auf 2,02 US-Dollar, da die erste Anfrage nun einen Präfix über Repositories hinweg teilt.
  • Rund 40 Prozent der Einsparungen stammen aus Code-Änderungen, der Rest aus der Wahl von Modellen und Aufwand.
  • Der Reviewer läuft nun auf OpenCode v2, das bei Freigabeentscheidungen in 98 Prozent der getesteten Merge Requests mit v1 übereinstimmte.

Wie sich die Rechnung in fünf Monaten verdoppelte

Laut Cloudflare kostete ein durchschnittliches Review 1,19 US-Dollar, als das Unternehmen im April erstmals über das Tool schrieb. Bis Ende August war der Wert auf rund 2,46 US-Dollar gestiegen, obwohl die Architektur unverändert blieb: Derselbe Koordinator verteilte die Arbeit an dieselben spezialisierten Reviewer, und dieselben Risikostufen bestimmten die Tiefe jedes Reviews. Etwa Mitte September beauftragte das Unternehmen seine Agenten damit, herauszufinden, wohin die Tokens fließen, und sie zu reduzieren.

Cloudflares nach Stufen bereinigte Grafik zeigt, wie die Kosten pro Review von 1,22 US-Dollar im März auf 1,44 US-Dollar im Juni, 1,74 US-Dollar im Juli und 2,32 US-Dollar im August stiegen. Ein kleiner Teil entfiel darauf, dass mehr Reviews in der teuersten Stufe landeten, deren Anteil von 59 Prozent im März auf 65 Prozent im August wuchs. Das Unternehmen erklärt dies damit, dass leistungsfähigere Modelle Entwickler zu größeren und komplexeren Änderungen verleiten.

Der größte Teil des Anstiegs ging jedoch auf Modellwechsel zurück. Anfang August stellte Cloudflare alle Reviewer auf Modelle von Anthropic um, die in den eigenen Evals bei dieser Aufgabe besser abschnitten. Dadurch stiegen die Kosten pro Job von 1,38 auf 2,03 US-Dollar. Der interne Standards-Reviewer Codex landete bei Claude Opus 4.7, und seine Kosten pro Review stiegen von rund 0,25 auf 0,88 US-Dollar, womit er teurer wurde als der Koordinator-Agent. Die Tokens pro Review mehr als verdreifachten sich von 0,91 auf 2,99 Millionen, obwohl die Cache-Trefferquote von 85,7 Prozent im April auf 97 Prozent im September stieg.

Wohin die Tokens flossen

Vor den Optimierungen entfielen laut Cloudflare etwa 23 Prozent der Ausgaben auf Output-Tokens, 43 Prozent auf Cache-Schreibvorgänge und 34 Prozent auf Cache-Lesevorgänge. Der Großteil des Geldes ging also für Kontext drauf, den das Modell bereits gesehen hatte oder erneut sehen würde. Der Code-Quality-Reviewer benötigte im Schnitt 16,6 LLM-Aufrufe pro Review, schrieb 72.000 Tokens in den Cache und las 1,08 Millionen zurück, weil jeder Aufruf die gesamte Konversation mitsendet.

Das Unternehmen verweist auf die Funktionsweise von Anthropics Prompt Cache. Nur Präfixe am Anfang einer Konversation lassen sich wiederverwenden, und ein Präfix wird nur dort gespeichert, wo ein Cache-Breakpoint es abschließt. Das Schreiben in den Cache kostet das 1,25-Fache des normalen Eingabepreises, das Lesen das 0,1-Fache, und ein Eintrag verfällt nach fünf Minuten, sofern ihn nichts liest. Daraus ergaben sich zwei Ziele: Die erste Anfrage jeder Sitzung sollte aus dem Cache lesen, und die Zahl der Aufrufe pro Sitzung sollte sinken.

Ein gemeinsamer Cache-Präfix für alle Repositories

Ab dem 14. September protokollierte der Reviewer die Token-Nutzung jedes ersten LLM-Aufrufs. Die erste Anfrage fand nur in 14 bis 26 Prozent der Fälle einen gecachten Präfix, obwohl jede Sitzung mit denselben Tool-Definitionen und demselben Agent-Prompt beginnt, die zwischen 11.000 und 21.000 Tokens umfassen und über alle Repositories hinweg identisch sind.

Die Ursache lag darin, wie OpenCode v1 den System-Prompt aufbaute. Es fasste den Agent-Prompt und einen Umgebungsabschnitt (Arbeitsverzeichnis und Datum) in einem Block mit einem einzigen Breakpoint am Ende zusammen, sodass der gemeinsame Teil nie separat gespeichert wurde. Am 16. September fügte Cloudflare am Ende jedes Agent-Prompts eine Markierung sowie einen Plugin-Hook hinzu, der den Block dort in zwei Teile trennt. Die erste Hälfte hat nun einen eigenen Breakpoint. Damit sie über alle Jobs hinweg identisch bleibt, entfernte das Unternehmen alles Repository-spezifische davor, deaktivierte die Liste verfügbarer Skills und fixierte die Tool-Beschreibungen.

Am selben Tag verlagerte es den Referenzindex des Codex-Reviewers in den Prompt, während zuvor jede Sitzung ihre ersten drei Durchgänge damit verbrachte, diese Dateien über Tool-Aufrufe zu lesen. Die LLM-Aufrufe von Codex pro Lauf sanken von 15,9 auf 9,6, die Kosten pro Lauf von 1,12 auf 0,72 US-Dollar. Zusammen senkten die Änderungen die Kosten pro Review von 2,47 auf 2,02 US-Dollar.

Weniger Aufrufe, schnellere Reviews

Weitere Änderungen am 21. und 23. September sparten Cloudflare zufolge etwa 0,20 US-Dollar pro Review. Dazu gehören:

  • Entfernen unbrauchbarer Tools: Sub-Reviewer sahen das Tool zum Posten des abschließenden Kommentars und versuchten in 57 bis 76 Prozent der Sitzungen, es aufzurufen, wurden aber abgewiesen. Das Entfernen sparte pro Anfrage einen Aufruf und rund 2.900 Tokens an Tool-Definitionen.
  • Paralleles Lesen von Dateien: In 64 Prozent der Durchgänge des Code-Quality-Reviewers rief das Modell genau ein Tool auf. Reviewer lesen nun gemeinsamen Kontext und alle ihre Patches in der ersten Antwort, bis zu 150 KB.
  • Reviewer bei erneuten Reviews überspringen: Etwa zwei Drittel der Jobs sind wiederholte Reviews. Bei erneuten Reviews der höchsten Stufe werden AGENTS.md-Reviews zu 56 Prozent, Performance-Reviews zu 23 Prozent und Dokumentations-Reviews zu 13 Prozent übersprungen.
  • Stopp nach dem Posten des Reviews: OpenCode führte bisher noch einen weiteren Durchgang aus, um eine Zusammenfassung zu schreiben, die niemand sah. Das kostete etwa 0,07 US-Dollar pro Job.
  • Timeouts und Abbrüche: Ein Reviewer, der sein Zeitlimit erreicht, gilt nicht mehr als Ausfall des Anbieters, und die Timeouts des Security-Reviewers sanken von 1,8 Prozent der Läufe auf nahezu null. In einer Stichprobe von 446 abgebrochenen Jobs liefen 358 weiter, daher prüfen Jobs nun alle 15 Sekunden ihren Status.

Der Reviewer wurde zudem auf OpenCode v2 umgestellt, eine komplette Neuentwicklung. Cloudflare ließ jedes Review in den Canary-Repositories im Shadow-Modus auf beiden Versionen laufen, und sie stimmten bei der Freigabeentscheidung in 98 Prozent der getesteten Merge Requests überein. Anfang Oktober stellte das Unternehmen alle darauf um. Mit denselben Modellen sind Reviews der höchsten Stufe auf v2 etwa 13 Prozent schneller abgeschlossen.

Was das bedeutet

Cloudflare zufolge stammen etwa 40 Prozent der Einsparungen aus Änderungen am Code des Reviewers, der Rest aus Experimenten damit, welche Modelle zum Einsatz kommen und wie viel Aufwand sie betreiben. Die zentrale Lehre aus dem Bericht: Bei Agent-Workloads, die lange Konversationen immer wieder neu senden, können Cache-Struktur und Aufrufzahl ebenso wichtig sein wie der Modellpreis. Cloudflare testet nach eigenen Angaben außerdem weitere Wege, den Reviewer zu betreiben, darunter den ausschließlichen Betrieb auf Durable Objects mit pi-durable, und kündigt dazu bald mehr an.

Ähnliche Meldungen

OpenAI und Databricks bringen kontrollierte Unternehmensdaten in KI-Tools
Wirtschaft13. November 2026, 16:30

OpenAI und Databricks bringen kontrollierte Unternehmensdaten in KI-Tools

OpenAI und Databricks bauen ihre Partnerschaft aus, damit Unternehmen ChatGPT, Codex und GPT-Modelle mit kontrollierten Geschäftsdaten nutzen können. Die Unternehmen…

Produkte und Tools
Produkte und Tools12. November 2026, 21:00

Amplitude: OpenAI-gestütztes Wave bringt Produktänderungen in 1, 2 Tagen live

Amplitude zufolge hilft sein Wave-Produktagent Teams dabei, in 1, 2 Tagen von einer Produkterkenntnis zu einer veröffentlichten Verbesserung zu gelangen, statt wie…

Produkte und Tools
Produkte und Tools12. November 2026, 10:30

Holiday Extras baut seine App mit Codex neu auf und beschleunigt Releases

Holiday Extras hat nach eigenen Angaben seine wichtigste mobile App mit OpenAI Codex innerhalb von zwei Wochen neu aufgebaut. Der bisherige Entwicklungsprozess hatte…