CodeRabbit: GPT-6 Cyber steigert Sicherheitsfunde um 66 %

GPT-6 Cyber fand mehr der ausgewählten Probleme

CodeRabbit bewertete GPT-6 Cyber in CodeRabbit Secure, indem das bestehende Modellensemble mit und ohne das Cybersicherheitsmodell anhand derselben 33 Fälle verglichen wurde. Jeder Fall enthielt ein bekanntes Sicherheitsproblem, das der Scan finden sollte.

Das Ensemble mit GPT-6 Cyber identifizierte 22 der ausgewählten Probleme, ohne das Modell waren es 19. Damit stieg die Erkennungsrate bekannter Probleme von 57,6 % auf 66,7 %, also um 9,1 Prozentpunkte. CodeRabbit bezeichnet das Ergebnis außerdem als relativen Anstieg der erkannten ausgewählten Probleme um 15,8 %.

Die Fälle deckten Python, JavaScript, TypeScript, Go, PHP, Rust, Ruby, C und C# ab. CodeRabbit wertete ein Problem nur dann als erkannt, wenn es im Abschlussbericht mit einer Erklärung dazu erschien, wie der Code fehlschlagen könnte und welche Sicherheitsfolge daraus entstehen könnte.

Die Zahl der Befunde stieg deutlich

GPT-6 Cyber erhöhte die Zahl der Befunde mit hoher und mittlerer Schwere in den Abschlussberichten von 218 auf 361, ein Anstieg um 65,6 %, den CodeRabbit auf 66 % rundete. Die Befunde aller Schweregrade stiegen von 592 auf 979, also um 65,4 %.

Der Nettozuwachs von drei erkannten Problemen ergab sich aus fünf zusätzlichen Treffern und zwei Treffern, die die Konfiguration ohne GPT-6 Cyber erzielt hatte. Neun ausgewählte Probleme blieben bei beiden Konfigurationen unerkannt. Laut CodeRabbit muss noch bewertet werden, wie viele der zusätzlichen Befunde gültige Schwachstellen beschreiben.

Die Zahl der gemeldeten Befunde stieg in allen sechs für die Analyse ausgewählten Kategorien. Injection und serverseitige Request-Fälschung verzeichneten die größten prozentualen Zuwächse, während Denial of Service die meisten zusätzlichen Befunde lieferte, nämlich 98. Umgehungen der Autorisierung legten um 77 zu.

Die Auswertung konzentrierte sich auf abschließende Entwicklerberichte

CodeRabbit zählte nur Befunde, die nach Prüfung und Berichterstellung bei den Entwicklern ankamen. Ein während der Untersuchung festgestelltes potenzielles Problem wurde nur dann angerechnet, wenn es im Abschlussbericht erschien und den möglichen Fehler erklärte.

Bei der Untersuchung wurde ein hoher Aufwand für die Schlussfolgerung eingesetzt, um potenzielle Schwachstellen durch den Code zu verfolgen. CodeRabbit verglich in dieser Auswertung keine unterschiedlichen Aufwandsstufen und kann daher den Effekt dieser Einstellung nicht isolieren. Beim nächsten Vergleich soll der Aufwand jeweils nur in einer Phase verändert werden, wobei dieselben Fälle und Bewertungskriterien zum Einsatz kommen. Geplant ist ein Vergleich der beibehaltenen bekannten Probleme, der vollständigen Scanzeit und der Kosten einschließlich der Prüfung.

GPT-6 Cyber ist laut CodeRabbit die Cybersicherheitsvariante von OpenAIs GPT-6-Modellen. Das Unternehmen erklärt, Cyber-Modelle seien für Sicherheitsforschung trainiert, unter anderem für das Finden von Schwachstellen und die Prüfung, ob diese ausgenutzt werden können, und würden bei autorisierten Sicherheitsaufgaben seltener die Ausführung verweigern. CodeRabbit erhielt den Zugang über das OpenAI Daybreak Defense Network. Der Zugriff auf Cyber-Modelle ist genehmigungspflichtig.

Was die Ergebnisse für CodeRabbit-Nutzer bedeuten

Laut CodeRabbit sprechen die Ergebnisse dafür, GPT-6 Cyber für sicherheitskritische Scans zu prüfen und zugleich die Probleme beizubehalten, die das bestehende Ensemble im Regressionsdatensatz bereits erkennt. Die Integrationsarbeit des Unternehmens soll sich darauf konzentrieren, die zusätzlichen Erkennungen für Entwickler nutzbar zu machen, bevor der Code ausgeliefert wird.

Diese Arbeit muss die größere Zahl der Befunde durch Prüfung und Priorisierung bewältigen. Nach Angaben von CodeRabbit sind zusätzliche, behebenswerte Probleme, der Erhalt bereits erkannter Probleme und überschaubare Berichte die Kriterien für die Bewertung des Modellbeitrags. Für Teams, die bereits mit zu vielen Warnungen umgehen müssen, sei die Zahl der gemeldeten Befunde allein kein Grund für einen Modellwechsel.

Unabhängig davon berichtet CodeRabbit, dass Teams vom 23. Oktober bis zum 3. November mehr als 13.000 Deep Scans in über 2.700 Organisationen ausgeführt haben. Diese produktweiten Scans erkannten Befunde mit kritischer und hoher Schwere. Zu den häufigsten gehörten Umgehungen der Autorisierung, IDOR und Cross-Site-Scripting. CodeRabbit grenzt diese Ergebnisse von der Benchmark-Auswertung zum Beitrag von GPT-6 Cyber zu seinem Ensemble ab.