CodeRabbit sagt, Codex habe die Software-Auslieferung verzwanzigfacht

Code-Reviews werden zur Kontrollschicht für KI-generierten Code

CodeRabbit bietet eine KI-gestützte Governance- und Kontrollplattform, um von KI-Agenten erzeugten Code zu prüfen, zu verstehen und abzusichern. Nach Angaben des Unternehmens werden seine Tools von mehr als 20.000 Organisationen und über 150.000 Open-Source-Projekten eingesetzt.

Harjot Gill, Mitgründer und CEO von CodeRabbit, sagt, dass Code-Reviews zu einem zentralen Engpass werden, wenn Unternehmen Coding-Agenten einsetzen. „Der erste Engpass, auf den jedes Unternehmen stößt, sobald es Coding-Agenten einführt, sind Code-Reviews“, sagt Gill im OpenAI-Bericht.

CodeRabbit bewertet neue Modelle anhand eines eigenen Benchmarks mit bekannten Problemen. Gill schätzte, dass GPT-6 Astra zum Zeitpunkt des Interviews 50 % der Probleme in diesem Datensatz erkannte und damit im Vergleich zu anderen Modellen in diesem Benchmark an der Spitze lag. Nach Angaben des Unternehmens verändert sich der Benchmark, wenn Agenten andere Fehler erzeugen und spätere Korrekturen Probleme sichtbar machen, die frühere Reviews übersehen hatten.

Mehr Subagenten dank sinkender Modellkosten

CodeRabbit entwickelte sein erstes Produkt mit GPT-3.5 Turbo und stellte später fest, dass GPT-4 für Code-Reviews effektiv war, so Gill. Anschließend führte das Unternehmen frühzeitig OpenAI o1 und OpenAI o3 ein. Da die Reviews asynchron in der Cloud laufen, konnte CodeRabbit Modelle einsetzen, die länger für die Analyse von Problemen brauchten, dafür aber leistungsfähigere Ergebnisse lieferten.

Gill sagt, Verbesserungen bei Modellpreisen und Caching hätten es CodeRabbit ermöglicht, mehr KI-Agenten hinzuzufügen und Funktionen aus der Forschung in sein Produkt zu überführen. Anfangs setzte das Unternehmen für die Navigation im Code einen oder zwei Subagenten ein. Heute verwendet es günstigere Modelle wie GPT-6 Luna, um mehr Subagenten zu unterstützen, während GPT-6 Astra die Planung und Orchestrierung übernimmt.

„Jetzt setzen wir überall Agenten für Anwendungsfälle ein, die wir uns früher nicht einmal leisten konnten“, sagt Gill. CodeRabbit zufolge hilft diese umfassendere Validierung dabei, Entwicklern mehr Erklärungen zu liefern, damit sie Änderungen verstehen und ihnen vertrauen können, die sie nicht selbst geschrieben haben.

Codex verändert den Software-Auslieferungsprozess von CodeRabbit

Mit Codex habe CodeRabbit in den vergangenen 6 Monaten etwa 20-mal mehr Software ausgeliefert, ohne zusätzliche Entwickler einzustellen, sagt Gill. Er selbst schätzte, in den 30 Tagen vor dem Interview zwischen 2.500 und 3.000 Pull Requests erstellt zu haben.

Die Steigerung erforderte mehr als die Einführung von Codex. Der Betrieb mehrerer Agenten legte Engpässe beim Arbeitsspeicher und der Rechenleistung von Laptops, beim Testen, bei der Softwarekompilierung und bei Paketierungswerkzeugen sowie bei Abhängigkeiten offen. CodeRabbit optimierte seinen Release-Prozess und überdachte, an welchen Stellen menschliche Freigaben nötig waren. Außerdem nutzt das Unternehmen seine eigene Plattform, um risikoarme Änderungen, die kein menschliches Eingreifen erfordern, automatisch auszuliefern.

„Wir mussten den gesamten Prozess der Software-Auslieferung tatsächlich komplett neu denken“, sagt Gill. CodeRabbit hat außerdem einen von Codex betriebenen Slack-Bot entwickelt, der Produktionsvorfälle, Slack-Nachrichten und Support-Tickets vorsortiert. Der Bot kann einen Pull Request zur Prüfung und zum Mergen durch das Team zurückgeben.

Das Unternehmen nutzt Codex auch außerhalb der Entwicklung. Marketing- und operative Aufgaben lassen sich über Code steuern, darunter über Pull Requests bereitgestellte Google Ads. Ein Repository für Content-Studios ermöglicht es Codex, Präsentationen und kundengerichtete Dokumente zu erstellen. „Wir führen das Unternehmen so weit wie möglich als Code“, sagt Gill.

Daybreak treibt Sicherheitstests und CodeRabbit Secure an

CodeRabbit betreibt seit 2023 Agenten in Sandbox-Umgebungen, klont Repositories und lässt Agenten Code für Reviews schreiben. Zuletzt nutzte das Unternehmen OpenAIs Cyber-Modell über Daybreak für interne Penetrationstests und untersuchte die eigene Plattform auf Möglichkeiten, wie ein Angreifer eindringen könnte.

Gill sagt, die Tests hätten „mehrere Schwachstellen und fortgeschrittene Angriffe aufgedeckt, von denen wir uns nicht einmal vorstellen konnten, dass sie möglich wären“. CodeRabbit hat diese Funktionen inzwischen mit CodeRabbit Secure, seinem neuesten Angebot, für Kunden verfügbar gemacht. Das Produkt nutzt Daybreak zusammen mit Codex-Modellen und auf Sicherheit spezialisierten Agenten, um Schwachstellen zu finden und zu beheben.

Im Rahmen eines Werbeangebots in den vergangenen zwei Wochen hat CodeRabbit nach eigenen Angaben kostenlose gründliche Scans im Wert von 1 Mio. US-Dollar für Nutzer abgedeckt. Die Scans fanden über 43.000 Sicherheitslücken in 13.000 gründlichen Scans, die allesamt von Codex-Modellen unterstützt wurden. Das Unternehmen sagt, Kunden hätten bereits Tausende dieser Schwachstellen behoben.

Für Nutzer deutet die Ankündigung auf ein Modell hin, in dem KI-Agenten mehr Code erzeugen, während CodeRabbit Validierung, Priorisierung, Erklärungen, Sicherheitsprüfungen und Verifizierung liefert. Gill erwartet, dass Teams stärkere Kontrollen benötigen werden, wenn Hintergrundagenten auf Warnungen und Vorfälle reagieren, ohne dass eine Person jede Aufgabe anstößt.