Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

CodeRabbit stellt GPT-6.2 Sol und Astra im Code-Review auf die Probe

19. November 2026, 21:00Von der KI Nachrichten RedaktionQuelle: CodeRabbit
CodeRabbit stellt GPT-6.2 Sol und Astra im Code-Review auf die Probe
Bild: CodeRabbit

Beim Review von GPT-6.2 Sol und Astra fand CodeRabbit in seinen Tests mehr bekannte Fehler. Die Modelle erzeugten jedoch deutlich mehr Kommentare und rechtfertigten noch keinen Wechsel der Standardmodelle für Code-Reviews. Das Unternehmen will beide Modelle weiter testen. Dafür müsse noch genauer zwischen Modellverbesserungen und Änderungen an der Pipeline unterschieden werden.

Das Wichtigste in Kürze
  • GPT-6.2 Astra fand 58 von 83 bekannten Fehlern, GPT-6 Astra dagegen 51.
  • Sol 6.2 mit hohem Reasoning fand 60 von 81 bekannten Fehlern, Sol 6.1 dagegen 58.
  • Beide GPT-6.2-Konfigurationen erzeugten deutlich mehr Kommentare als ihre Baselines.
  • Die erfassten Kosten pro Review von Sol 6.2 mit hohem Reasoning stiegen von $0.772 auf $1.146.
  • CodeRabbit behält die aktuellen Standardmodelle für Reviews bei und testet beide Modelle weiter.

GPT-6.2 Astra fand mehr Fehler, gab aber deutlich mehr Feedback

CodeRabbit testete GPT-6.2 Astra gegen GPT-6 Astra anhand eines Benchmarks mit 83 bekannten Fehlern. Die neuere Konfiguration fand 58 Fehler beziehungsweise 69,9 Prozent, GPT-6 Astra dagegen 51 oder 61,5 Prozent.

Die höhere Abdeckung ging mit einem starken Anstieg der gemeldeten Kommentare einher. GPT-6.2 Astra erzeugte 847 Kommentare, darunter 589 reguläre umsetzbare Kommentare und 258 Hinweise in Zusammenfassungsabschnitten. Die Baseline erzeugte 331 Kommentare, wobei CodeRabbit darauf hinwies, dass diese Summe nicht nach denselben Kategorien aufgeschlüsselt worden war.

Die Präzision bei umsetzbaren Kommentaren im Benchmark sank von 21,74 Prozent bei GPT-6 Astra auf 12,22 Prozent bei GPT-6.2 Astra. Die neuere Konfiguration erzeugte außerdem 215 Nitpick- oder nachdrückliche Kommentare, verglichen mit fünf bei der Baseline. Von den 589 regulären umsetzbaren Kommentaren stimmten 72 mit bekannten Fehlern überein. Die übrigen 517 Kommentare könnten laut CodeRabbit nützliche Hinweise außerhalb der Bezeichnungen des Benchmarks enthalten. Ihr Wert müsse jedoch einzeln bewertet werden.

Sol 6.2 brachte einen kleinen messbaren Zuwachs zu höheren Kosten

In einem separaten Test bewertete CodeRabbit Sol anhand von 81 bekannten Fehlern in 42 Pull Requests. Sol 6.1 fand 58 Fehler beziehungsweise 71,6 Prozent. Sol 6.2 mit hohem Reasoning fand 60 oder 74,1 Prozent, während die Konfiguration mit niedrigem Reasoning 59 oder 72,8 Prozent erreichte.

Der Lauf von Sol 6.2 mit hohem Reasoning erzeugte 290 reguläre umsetzbare Kommentare, gegenüber 187 bei Sol 6.1. Die Präzision im Benchmark sank von 35,3 auf 25,9 Prozent. Die erfassten Kosten pro Review stiegen von $0.772 auf $1.146, während sich die mediane Dauer eines vollständigen Reviews von 7m 49s auf 7m 53s veränderte.

CodeRabbit warnte, dass jede Konfiguration nur einmal ausgeführt wurde und unterschiedliche Teile der Review-Pipeline mit verschiedenen Modellalternativen arbeiteten. Die Ergebnisse belegen daher keine verlässliche Verbesserung, die ausschließlich auf das Modell zurückzuführen ist. Bei den genannten Werten handelt es sich um Kosten der Replay-Läufe und Zeiten der vollständigen Pipeline, nicht um Produktionskosten eines Reviews oder die Latenz bei der Codegenerierung.

API-Preise sanken, Kosten abgeschlossener Reviews bleiben unklar

Laut der Preisankündigung von OpenAI liegt der Standardpreis für API-Eingaben von GPT-6.2 Astra bei $8 pro einer Million Tokens, gegenüber $10 bei GPT-6 Astra. Der Preis für zwischengespeicherte Eingaben sank von $1 auf $0.40 pro einer Million Tokens, während Standardausgaben von $50 auf $40 pro einer Million Tokens günstiger wurden.

CodeRabbit erklärte, dass diese Preise Aufschläge für lange Kontexte und Anpassungen der Service-Stufe nicht enthalten. Niedrigere Token-Preise bedeuten außerdem nicht zwangsläufig niedrigere Review-Kosten, da abgeschlossene Reviews von delegierten Aufrufen und Wiederholungen abhängen. Nur bei neun von 83 Fällen mit GPT-6.2 Astra wurden alle Kosten erfasst, bei der Baseline dagegen bei 58 Fällen. Der Test konnte daher keine verlässlichen Kosten pro abgeschlossenem Review ermitteln.

Bei der Dauer lag die mediane Review-Zeit der GPT-6.2-Astra-Konfiguration 25 Sekunden über den 5m 37s der Baseline. CodeRabbit betonte, dass damit die vollständige Pipeline gemessen wird und sich daraus nicht ableiten lässt, dass Astra selbst langsamer ist.

Praxistests beim Programmieren lieferten gemischte Ergebnisse

CodeRabbit setzte beide Modelle außerdem zum Erstellen von Benutzeroberflächen und zur Arbeit an Projekten ein, führte dabei aber keinen abgestimmten Benchmark zur Codegenerierung durch. Astra erzeugte aus einer kurzen Eingabe häufig eine brauchbare erste Oberfläche und wählte Layouts aus, ohne auf Rückfragen zu warten. Bei längeren Aufgaben kehrte das Modell nach Umwegen zum ursprünglichen Ziel zurück und band delegierte Untersuchungen wieder in die Arbeit ein.

Sol 6.2 benötigte in den Programmiersitzungen des Unternehmens mehr Anleitung. Die ersten Entwürfe für Benutzeroberflächen waren keine Verbesserung gegenüber Sol 6.1, und einige Implementierungen blieben selbst mit einer Referenz unausgereift. Kleine Änderungen führten mitunter zu langen Pausen, während die Einrichtung von Projekten wiederholt fehlerhafte Konfigurationen erzeugte, die überprüft werden mussten.

CodeRabbit erklärte, die aktuellen Standardeinstellungen für Reviews beizubehalten und beide Modelle weiter zu testen. Das Unternehmen will die zusätzlichen Ergebnisse auswerten, von den einzelnen Konfigurationen übersehene Fehler erneut testen und Astra mit festem Routing vergleichen, bevor es einen Wechsel erwägt.

Ähnliche Meldungen

GPT-6.2 Sol erreicht Astras Genauigkeit zu einem Viertel der Kosten
Forschung19. November 2026, 18:13

GPT-6.2 Sol erreicht Astras Genauigkeit zu einem Viertel der Kosten

GPT-6.2 Sol erreichte im Benchmark von Ultralytics mit 36 Datensätzen nahezu die gleiche Genauigkeit bei der automatischen Annotation wie GPT-6.2 Astra, kostete pro…

GPT-6.2 Astra und Sol im Test beim Bau einer 3D-PyramideTop-Meldung
Modelle19. November 2026, 16:07

GPT-6.2 Astra und Sol im Test beim Bau einer 3D-Pyramide

Kilo hat OpenAIs GPT-6.2 Astra und GPT-6.2 Sol getestet und beide Modelle aufgefordert, eine interaktive 3D-Szene mit Arbeitern beim Bau einer Pyramide zu erstellen.…

ModelleTop-Meldung
Modelle17. November 2026, 18:45

OpenAI stellt GPT-6.2 Astra und Sol für Arbeit und Wissenschaft vor

OpenAI hat GPT-6.2 Astra für komplexe berufliche und wissenschaftliche Aufgaben sowie GPT-6.2 Sol für alltägliche Tätigkeiten vorgestellt. Das Unternehmen erklärt, beide…