CodeRabbit Verify bringt agentisches Anwendungstesten in die öffentliche Beta

CodeRabbit Verify ist jetzt als öffentliche Beta verfügbar. Entwicklungsteams können damit laufende Anwendungen agentengestützt testen, Änderungen in Pull Requests validieren und fehlerhafte Nutzerabläufe erkennen. Die Ergebnisse lassen sich an den CodeRabbit Agent senden oder zur Behebung an einen anderen Coding-Agent exportieren.
- CodeRabbit Verify ist jetzt als öffentliche Beta verfügbar.
- Der Dienst testet laufende Anwendungen und Änderungen in Pull Requests.
- Teams können wiederverwendbare Regressionstests in einfachem Englisch erstellen.
- Aufzeichnungen, Screenshots und Protokolle helfen bei der Untersuchung von Fehlern.
- Beta-PR-Läufe, Durchläufe von Nutzerabläufen und Fehlerbehebungen mit dem CodeRabbit Agent sind kostenlos.
Testen über den Code-Review hinaus
CodeRabbit zufolge ist Verify für ein Problem gedacht, das durch die wachsende Menge an Code entsteht, den Coding-Agenten produzieren: Jede Änderung manuell bereitzustellen, die betroffenen Abläufe durchzuspielen und Fehler an einen Agenten zurückzumelden, wird zunehmend unpraktisch. Der Dienst prüft, ob sich eine Anwendung bei der Interaktion durch Nutzer wie vorgesehen verhält. Dazu gehört auch die Frage, ob neue Änderungen bestehende Abläufe beeinträchtigen oder Lücken bei Unit-Tests offenlegen.
Für jeden Pull Request erstellt Verify Testszenarien aus den Commits, dem relevanten Quellcode, von Nutzern bereitgestellten Tests und der Dokumentation. Auch der Review-Kontext von CodeRabbit kann in den Testplan einfließen. Die erwarteten Ergebnisse leiten sich aus dem vorgesehenen Verhalten, der Dokumentation und den bisherigen Testerwartungen ab, nicht aus der neuen Implementierung selbst. Teams können die Szenarien vor ihrer Ausführung prüfen und verfeinern.
Die Ergebnisse erscheinen direkt im Pull Request, einschließlich Links zu Belegen und Aufzeichnungen. Sobald weitere Commits hinzukommen, kann Verify den Szenarienplan aktualisieren und die Prüfungen erneut ausführen, die eine neue Validierung benötigen. Frühere Ergebnisse bleiben dabei dem Commit zugeordnet, den sie getestet haben.
Nutzerabläufe schaffen wiederverwendbare Regressionstests
Verify kann ein Repository untersuchen und Nutzerabläufe in einfachem Englisch vorschlagen. Jeder Ablauf beschreibt den Nutzer, das Ziel, die einzelnen Schritte und die Ergebnisse, die weiterhin erreicht werden müssen. Teams können die Vorschläge gemeinsam mit dem Agenten besprechen und überarbeiten, bevor sie sie als wiederverwendbare Regressionstests freigeben.
Freigegebene Abläufe lassen sich bearbeiten, bei Bedarf ausführen, mit Tags gruppieren oder für einen Branch und eine Testumgebung planen. So können Teams Abläufe wie den Bezahlvorgang oder die Kontoerstellung prüfen, auch wenn ein bestimmter Pull Request diese Funktionen offenbar nicht betrifft. Bei geplanten Durchläufen kann Verify für neue Fehler und Testblocker automatisch Issues in einem verbundenen Jira- oder Linear-Tracker erstellen. Ein späterer Lauf, der eine Fehlerbehebung bestätigt, kann den Fund schließen und das verknüpfte Issue aktualisieren.
Wenn ein Test fehlschlägt, können Entwickler eine Live-Browseransicht ansehen sowie gespeicherte Aufzeichnungen, Screenshots und Protokolle prüfen. Verify unterscheidet außerdem zwischen einem Anwendungsfehler und einer Einschränkung, etwa wenn eine Anwendung nicht gestartet werden konnte oder eine erforderliche Prüfung nicht abgeschlossen werden konnte.
Sandbox-Einrichtung und Beta-Zugang
Der CodeRabbit Agent bereitet die Testumgebung vor, indem er Projektanforderungen prüft, Abhängigkeiten installiert, unterstützende Dienste oder Emulatoren konfiguriert, die Anwendung startet und ihre Betriebsbereitschaft kontrolliert. Die Tests laufen in der Sandbox von CodeRabbit und damit getrennt von der Produktionsumgebung. Der Dienst speichert die Anweisungen für Einrichtung und Start sowie einen Snapshot der vorbereiteten Umgebung, damit spätere Durchläufe diese Vorbereitung wiederverwenden können.
Während der öffentlichen Beta sind laut CodeRabbit Verify-PR-Testläufe, Durchläufe von Nutzerabläufen für das gesamte Repository und Fehlerbehebungen mit dem CodeRabbit Agent kostenlos. Entwickler können beginnen, indem sie in einem Pull Request @coderabbitai verify kommentieren. Ist das Repository noch nicht konfiguriert, stellt die Antwort von CodeRabbit einen Link zur Einrichtung der Testumgebung bereit. Teams können außerdem aus ihrer Codebasis Nutzerabläufe erstellen und diese bei Bedarf oder nach einem Zeitplan ausführen.
Mit dem Start positioniert sich Verify als Möglichkeit, den manuellen QA-Aufwand zu reduzieren und gleichzeitig Belege bereitzustellen, die Entwickler und Coding-Agenten zur Untersuchung und Behebung funktionaler Fehler nutzen können. CodeRabbit zufolge soll Teams geholfen werden, von Agenten erzeugte Änderungen schneller durch die Tests zu bringen, ohne die Qualität der Anwendung zu beeinträchtigen.


