Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

GitHub startet ReviewBench: offener Benchmark für KI-Agenten bei der Code-Review

5. Oktober 2026, 17:59Von der KI Nachrichten RedaktionQuelle: GitHub
GitHub startet ReviewBench: offener Benchmark für KI-Agenten bei der Code-Review
Bild: GitHub

GitHub hat ReviewBench veröffentlicht, einen offenen Offline-Benchmark zum Vergleich von KI-Agenten für die Code-Review. Laut GitHub orientiert er sich an mehr als 100 Millionen realen Pull Requests und ist als Research Preview verfügbar.

Das Wichtigste in Kürze
  • GitHub hat ReviewBench veröffentlicht, einen offenen Offline-Benchmark für KI-Agenten bei der Code-Review, als Research Preview.
  • Er umfasst 219 Pull Requests aus 187 öffentlichen Repositories in 19 Sprachen und orientiert sich an 103,9 Millionen Pull Requests auf GitHub.
  • Das Golden Set kombiniert menschliche Reviewer, Folge-Commits, statische Analyse und führende LLMs und wird von Claude Sonnet 5 nach einem veröffentlichten Bewertungsraster beurteilt.
  • Die Einstufungen von Senior Engineers stimmten in 96,6 % der Fälle mit ReviewBench überein.
  • Die Ergebnisse lassen sich nach Schweregrad und Kategorie filtern, und über die Fβ-Gewichtung lässt sich das Leaderboard neu sortieren.

Worauf ReviewBench aufbaut

GitHub zufolge lässt sich die Qualität bestehender KI-Reviewer nur schwer messen, obwohl Teams die Stärken eines Reviewers kennen müssen, bevor sie sich darauf verlassen. Manche Reviewer finden mehr Probleme, manche erzeugen weniger Rauschen, und manche sind bei kritischen Fehlern besser, während andere auch kleinere Verbesserungen anmerken. Bestehende Benchmarks müssen laut GitHub oft Kompromisse bei der Qualität der Labels, der Abdeckung und der Praxisnähe der Code-Review eingehen.

Um diese Lücke zu schließen, hat GitHub 103,9 Millionen Pull Requests analysiert, um reale Review-Workloads zu beschreiben. ReviewBench enthält 219 Pull Requests aus 187 öffentlichen, offen lizenzierten Repositories in 19 Sprachen. Die Verteilung der Sprachen und Repository-Größen entspricht weitgehend der auf GitHub insgesamt, und der vollständige Datensatz ist öffentlich verfügbar.

Eine bewusste Anpassung hat GitHub vorgenommen: Die Größe der Pull Requests wird zugunsten des überprüfbaren mittleren und hinteren Bereichs gewichtet. So sind winzige Änderungen an nur einer Datei weniger stark vertreten, und es bleiben mehr substanzielle Pull Requests mit mehreren Dateien, bei denen die Review-Qualität am meisten zählt.

So funktionieren Golden Set und Bewertung

GitHub argumentiert, dass kein einzelner Reviewer, ob Mensch oder Modell, alles finden kann, was in einem Pull Request anmerkenswert ist. Das Golden Set entsteht deshalb in drei Stufen:

  • Kandidaten sammeln. Die Befunde stammen von menschlichen Reviewern, aus Problemen, die sich aus nachfolgenden Commits der Autoren ableiten lassen, von deterministischen Analysewerkzeugen und von mehreren führenden LLMs verschiedener Modellfamilien.
  • Duplikate entfernen. Überlappende Befunde, die auf dasselbe zugrunde liegende Problem verweisen, werden semantisch zusammengeführt, damit Übereinstimmungen zwischen den Quellen das Set nicht aufblähen.
  • Validieren. Ein Befund gilt nur dann als echter Treffer, wenn er zutrifft, relevant und nicht trivial ist, unabhängig von seiner Quelle. GitHub setzt Claude Sonnet 5 als LLM-Bewerter ein und veröffentlicht sowohl das Bewertungsraster als auch den Bewerter.

Jeder Befund wird nach Schweregrad (kritisch, mittel, niedrig) und Kategorie eingeordnet, etwa Korrektheit, Sicherheit, Zuverlässigkeit, Wartbarkeit und Tests.

Der Benchmark weist Kennzahlen in zwei Gruppen aus. Grounded Precision, Recall und F1 nutzen ausschließlich die vorhandenen Labels des Golden Sets und erlauben so einen strengen Vergleich auf gleicher Basis. Augmented Precision, Recall und F1 bewerten zusätzlich Befunde, die in keinem Eintrag des Golden Sets vorkommen, wobei der Bewerter entscheidet, ob es sich um echte oder falsche Treffer handelt. So kann ein Reviewer Punkte für berechtigte Probleme sammeln, die keine Quelle des Golden Sets gefunden hat. Da der Nenner beim Augmented Recall davon abhängt, was jeder Agent entdeckt, nutzt GitHub den Grounded Recall als zentralen Vergleichswert zwischen Systemen und die Augmented-Kennzahlen als Diagnose für das jeweilige System.

Konfigurierbare Rankings und Validierung

GitHub zufolge gibt es kein einzelnes bestes Review-Erlebnis. Manche Entwickler wollen nur kritische Probleme sehen, andere schätzen auch Befunde mit geringerem Schweregrad, und wieder andere legen Wert auf breite Abdeckung oder möglichst wenig Rauschen. Die Ergebnisse lassen sich nach Schweregrad und Kategorie filtern, und Nutzer können β im Fβ-Score anpassen, um Recall oder Precision stärker zu gewichten. Das Leaderboard wird bei jeder Änderung dieser Präferenzen neu sortiert.

Vor der Veröffentlichung haben Senior Engineers, die nicht am Datensatz mitgearbeitet hatten, jeden Ground-Truth-Befund von Grund auf neu bewertet. Ihre Einstufungen als echter oder falscher Treffer stimmten laut GitHub in 96,6 % der Fälle mit ReviewBench überein. Das Unternehmen versioniert den Datensatz, den Bewerter und den Matcher, die in jeder Auswertung zum Einsatz kommen, und veröffentlicht seine Validierungsmethodik, die Übereinstimmungsmessungen und bekannte Einschränkungen der Aussagekraft.

Was das für Nutzer und Teams bedeutet

GitHub erklärt, ReviewBench habe die eigene Offline-Evaluierung der Copilot Code Review besser darin gemacht, die Richtung von Produktionsexperimenten vorherzusagen. Das gebe dem Unternehmen mehr Zuversicht, dass gemessene Verbesserungen auch für Nutzer echte Fortschritte bedeuten. Zudem zeigten sich Verbesserungen und Rückschritte meist auch online.

Die Research Preview ist auf der ReviewBench-Website verfügbar. Dort können Nutzer den Benchmark erkunden, Agenten für die Code-Review vergleichen und einen eigenen Agenten zur Auswertung und Weiterentwicklung einbringen. Für Teams, die Review-Werkzeuge auswählen oder entwickeln, sollen der öffentliche Datensatz und das veröffentlichte Bewertungsraster die Ergebnisse nachvollziehbar und reproduzierbar machen.

Ähnliche Meldungen

Vercel Security Review scannt GitHub-Repositories ohne Projekte
Sicherheit und Ethik13. November 2026

Vercel Security Review scannt GitHub-Repositories ohne Projekte

Vercel Security Review kann jetzt Codeänderungen in GitHub-Repositories scannen, die nicht mit einem Vercel-Projekt verknüpft sind. Damit können Teams abgedeckte…

OpenRouter misst die Tokenkosten von MCP, CLI-Tools und Skills
Für Entwickler11. November 2026

OpenRouter misst die Tokenkosten von MCP, CLI-Tools und Skills

Ein Vergleich von OpenRouter zeigt: Die Art, wie ein KI-Agent eine Fähigkeit erhält, kann den Kontextverbrauch und die Kosten drastisch verändern. Bei einer…

GPT-6 Astra führte bei Coding-Agenten, erledigte aber nur 26,4 % der Aufgaben
Forschung10. November 2026, 17:08

GPT-6 Astra führte bei Coding-Agenten, erledigte aber nur 26,4 % der Aufgaben

OpenAIs GPT-6 Astra erfüllte in einem Benchmark für Coding-Agenten durchschnittlich 69,9 % der versteckten Abnahmekriterien, erledigte aber nur 26,4 % der Aufgaben…