Google: Veraltete TODOs schicken Coding-Agenten auf teure Umwege

Veraltete Verweise werden für Agenten zu Anweisungen

In einem Blogbeitrag für Google for Developers beschreiben Senior Staff Software Engineer Sam Saccone und Senior Staff Data Scientist Madhuri Garikapati, wie Coding-Agenten Informationen in einer Codebasis verarbeiten. Texte, die Menschen möglicherweise überlesen, darunter veraltete Spezifikationen, gelöste Fehler und nicht mehr aktuelle Dokumentation, können einem Agenten bei Planung und Recherche als Handlungsaufforderung erscheinen.

Die Forscher konzentrierten sich auf Inline-Kommentare der Typen TODO(bug/...) und FIXME(bug/...). Solche Verweise bleiben häufig in Dateien erhalten, nachdem das zugrunde liegende Problem gelöst oder aufgegeben wurde, während das verknüpfte Fehlerticket der maßgebliche Datensatz bleibt. Durch den Abgleich jedes Verweises mit dem Status des Tickets und der Eingabe des Nutzers kann Google nach eigenen Angaben relevante Arbeit von einem unnötigen Umweg unterscheiden.

In einer von sieben Sitzungen stieß der Agent auf einen Fehlerverweis

Google analysierte verteilte Traces aus Interaktionen mit Tausenden Entwicklern und mehr als Hunderten Millionen einzelner Agentenschritte. In den untersuchten Millionen Dateilese-Sitzungen wurde ein Agent in 13% der Fälle mit einem Inline-Fehlerverweis konfrontiert.

In 94% der Fälle ignorierten die Agenten den Kommentar. In den verbleibenden 6% ergriffen sie anschließend Maßnahmen, die auf die Fehler-ID abzielten, und 83% dieser Maßnahmen waren nicht vom Entwickler angefordert. Google zufolge betrafen 41% der ungeplanten Umwege geschlossene Tickets, darunter bereits behobene oder verifizierte Fehler sowie veraltete oder als „wird nicht behoben“ eingestufte Probleme. Weitere 2% betrafen doppelte oder eingeschränkte Tickets.

In mehr als der Hälfte der ungeplanten Umwege war der referenzierte Fehler noch offen. Google zufolge erweiterten diese Fälle die Aufgabe: Die Agenten riefen entweder Informationen zum Problem ab oder änderten Code, um Arbeiten außerhalb der Anfrage des Entwicklers zu untersuchen oder anzupassen.

Ungeplante Umwege erhöhten Zeit- und Tokenverbrauch

Nachdem Google für Entwickler, Komplexität der Codebasis, Aufgabentyp, Modellstufe, Zahl der gelesenen Dateien, Länge der ursprünglichen Eingabe und den Schritt, in dem der Fehlerverweis auftauchte, kontrolliert hatte, berichtet das Unternehmen von einem statistisch signifikanten Mehraufwand durch ungeplante Fehler-Umwege mit p<0.0001.

Pro Sitzung waren die Umwege mit 70% mehr Schritten, 77% mehr Tokens und 105% mehr Wartezeit verbunden. Der Beitrag beschreibt diese Ablenkungen als ein Spektrum von kleineren Untersuchungen bis hin zu einer Ausweitung des Aufgabenbereichs, die menschliches Eingreifen erforderte.

In einem Beispiel untersuchte ein Agent einen nicht damit zusammenhängenden Fehler, stieß auf einen Verweis zu einem 2023 behobenen Problem und verbrachte anschließend weitere Schritte mit dessen Recherche. In einem anderen Fall fand ein Agent ein TODO und beschloss, den zugehörigen Code ohne Aufforderung zu reparieren. Er führte mehrere Suchanfragen im Code und in der internen Wissensdatenbank aus, bevor er den Code von ModelDownloaderV1 änderte. Der Mensch stellte den erweiterten Aufgabenbereich später infrage.

Google nutzt Agenten, um veraltete TODOs zu bereinigen

Google zufolge hat das Unternehmen Agenten entwickelt, die seine Codebasen nach als behoben oder veraltet markierten Fehlerverweisen durchsuchen. Das Auffinden dieser Verweise war jedoch nur der erste Schritt. Die Agenten untersuchten außerdem die Fehlerhistorie, die Dateihistorie und Änderungen an der Codebasis, teilweise über mehrere Jahre hinweg, bevor sie eine Löschung vorschlugen.

Erst wenn ein Agent bestätigen konnte, dass sowohl das TODO als auch sein ursprünglicher Zweck veraltet waren, schickte er eine Änderung zur Prüfung. Google zufolge entfernte sein TODO-Bereiniger in den vergangenen 6 Monaten Tausende veraltete Verweise. Menschliche Prüfer akzeptierten dabei mehr als 95% der Änderungen.

Die Ergebnisse legen nahe, dass die Pflege von Code für den Einsatz mit Agenten über den aktiven Ausführungspfad hinausgeht. Google zufolge können Presubmit-Analysatoren, Scanner für die gesamte Codebasis und automatisierte Coding-Agenten für veraltete TODOs dazu beitragen, Ablenkungen zu verringern. Bereinigungsarbeiten, die bisher als wenig wertvoll galten, müssten möglicherweise neu bewertet werden, da Agenten in größeren Teilen einer Codebasis arbeiten.