CodeRabbit: Claude Sonnet 5.5 findet mehr Bugs als Sonnet 5 in der halben Zeit

Was CodeRabbit gemessen hat

Anthropic hat Claude Sonnet 5.5 veröffentlicht, das zweite Modell der Claude-5.5-Familie, zum gleichen Preis wie Sonnet 5. Laut Anthropic erzeugt es Ausgaben um 30 % oder mehr schneller und braucht bis zu 30 % weniger Token pro Aufgabe. CodeRabbit hat es genauso getestet wie Opus 5.5 Anfang September.

Der erste Test namens Signal umfasst 13 schwierige Fälle. Jeder davon ist ein echter Pull Request aus einem Open-Source-Projekt wie Elasticsearch, Puma, vLLM, Cilium, axios oder Next.js, mit einem verifizierten Problem, das der Reviewer finden soll. Mit aktiviertem Thinking fand Sonnet 5.5 über umsetzbare Kommentare 6 von 13 Problemen, Sonnet 5 kam auf 4. Die Präzision der umsetzbaren Kommentare lag bei 41,2 % gegenüber 40,0 %, und das Modell meldete 17 Kommentare, Sonnet 5 dagegen 15.

Zählt man auch Funde außerhalb der geänderten Zeilen, erreichte Sonnet 5.5 8 von 13, während Sonnet 5 bei 4 von 13 blieb. Ein Durchlauf ohne Thinking fand 5 von 13 bei 38,5 % Präzision und 13 gemeldeten Kommentaren.

CodeRabbit weist offen auf die Grenzen hin. Vier der Treffer waren Bugs, die Sonnet 5 übersehen hatte, doch Sonnet 5.5 verpasste zwei, die Sonnet 5 gefunden hatte. Das Unternehmen spricht daher ebenso von einer Geschichte der „unterschiedlichen Fehlstellen“ wie von einer mit mehr Treffern. Zudem betont es, dass 13 Fälle eine kleine Stichprobe sind.

Schneller, leiser und günstiger bei 44 Pull Requests

Um die kleine Stichprobe zu untermauern, ließ CodeRabbit beide Modelle auf einem breiteren Set von 85 bekannten Problemen in 44 Open-Source-Pull-Requests laufen. Die Bewertung durch den Judge stand für diesen Durchlauf noch aus, daher betrifft er nur Geschwindigkeit und Kommentarmenge.

• Sonnet 5.5 veröffentlichte 111 gemeldete Kommentare, Sonnet 5 dagegen 146, also rund 24 % weniger.
• Seine Kommentare verteilten sich auf 4 Einträge mit hoher Schwere (kritisch oder major), 50 major und 57 minor, dazu 9 Nitpicks. Sonnet 5 kam auf 14 kritische, 87 major, 45 minor und 30 Nitpicks.
• Die durchschnittliche Zeit pro Review betrug bei Sonnet 5.5 6:33 und bei Sonnet 5 13:31. Die Mediane lagen bei 5:44 und 13:49.
• Die Gesamtzeit für die 44 Reviews sank von 9 Stunden 55 Minuten auf 4 Stunden 49 Minuten.

Im Signal-Set lag die durchschnittliche Review-Dauer bei Sonnet 5.5 mit aktiviertem Thinking bei 5:27, bei Sonnet 5 bei 9:55. Sonnet 5.5 erzeugte außerdem keinen als kritisch eingestuften Kommentar, während Sonnet 5 zwei als kritisch kennzeichnete und einer davon laut CodeRabbit falsch war.

Bei den Kosten gibt CodeRabbit an, dass die Aufrufe der Claude-Modelle zu Listenpreisen pro Review rund 60 % weniger kosten, also doppelt so viel Ersparnis, wie Anthropic bewirbt. Sonnet 5.5 kostet 2 US-Dollar pro Million Eingabe-Token und 10 US-Dollar pro Million Ausgabe-Token, dazu 0,20 US-Dollar pro Million Cache-Lesezugriffe und 2,50 US-Dollar pro Million Cache-Schreibzugriffe. Das ist gegenüber Sonnet 5 unverändert und halb so viel wie bei Opus 5.5 mit 4 und 20 US-Dollar.

Einordnung gegenüber Opus 5.5 und früheren Sonnet-Modellen

Bei den schwierigsten Fällen schließt Sonnet 5.5 die Lücke zu Opus 5.5 nicht. In CodeRabbits früherer Auswertung derselben 13 Fälle kam Opus 5.5 Standard auf 8 von 13 Treffern bei 66,7 % Präzision und 21 Kommentaren, Opus 5.5 Max auf 10 von 13 bei 52,0 % und 25 Kommentaren. Sonnet 5 fand von allen Konfigurationen die wenigsten Probleme.

CodeRabbit ordnet die Veröffentlichung in ein längeres Muster ein. Sonnet 4.6 war das Sonnet mit der höchsten Abdeckung, die das Unternehmen gemessen hatte, mit etwa 63 % der bekannten Probleme, kommentierte bei nur 29 % Präzision aber alles. Sonnet 5 tauschte diese Abdeckung gegen Präzision und fiel auf etwa 50 % Abdeckung bei mehr Nitpicks. Sonnet 5.5 ist laut CodeRabbit die erste Version der Reihe, die die Abdeckung wieder anhebt, ohne die Präzision wieder abzugeben.

Anthropic positioniert Sonnet 5.5 als schnellere, günstigere Ergänzung zu Opus 5.5, am stärksten bei klar umrissenen Alltagsaufgaben wie Bugfixes sowie der Erstellung von Dokumenten, Folien und Tabellen. In Anthropics Tabelle zum Launch erreicht es 70,6 % auf Terminal-Bench 4.0, nach 10,3 % bei Sonnet 5, und liegt damit vor Opus 5.5 mit 66,4 %.

Einstellungen und Folgen für Teams

Adaptives Thinking ist standardmäßig aktiviert. Die Effort-Stufen (low, medium, high, xhigh, max) steuern Kosten und Tiefe, wobei Medium in den Claude-Apps und High auf der Claude Platform voreingestellt ist. Teams, die Sonnet 5 ohne Thinking betrieben haben, müssen bei der Migration auf die neue Einstellung between_tools umsteigen. CodeRabbits Durchlauf ohne Thinking nutzte diesen Weg. Anthropic weist außerdem darauf hin, dass das Modell Anweisungen wörtlich befolgt und bei niedrigem Effort eine Änderung als erledigt melden kann, ohne eine Prüfung auszuführen, sofern der Prompt dies nicht verlangt.

Beim Thema Sicherheit sind die Cyber-Fähigkeiten von Sonnet 5.5 mit denen von Opus 5 vergleichbar. Es ist damit das erste Sonnet, das mit Cyber-Schutzmaßnahmen im Stil von Opus ausgeliefert wird. Routinemäßige Bugfixes sind davon nicht betroffen, riskantere Sicherheitsanfragen fallen jedoch auf Sonnet 5 zurück.

Für Teams, die Review-Workflows aufbauen, lautet CodeRabbits Fazit, dass dies die erste Sonnet-Version ist, die das Unternehmen für den Haupt-Review-Durchlauf in Betracht ziehen würde und nicht nur für die Qualität der Kommentare. Teams, die bei schwierigen Bugs die höchste Abdeckung brauchen, dürften nach diesen Ergebnissen weiterhin Opus 5.5 bevorzugen, während Sonnet 5.5 schnellere Reviews zu geringeren Kosten bietet.