Amazon: Autonome KI-Agenten haben den AWS Emulator entwickelt

Ein AWS-Emulator ohne menschliche Code-Überprüfung

Der AWS Emulator ist dafür ausgelegt, auf dem Rechner des Nutzers zu laufen und die Entwicklung sowie das Testen von AWS-Anwendungen zu ermöglichen. Amazon zufolge hat das Team keinen Code selbst geschrieben oder überprüft. Stattdessen setzte es auf ein System, das die Änderungsmöglichkeiten der Agenten begrenzt und ihre Arbeit vor dem Zusammenführen prüft.

Das Projekt begann als Wochenendexperiment. Amazon gab Kiro die Anweisung, auf Basis der AWS Command Line Interface Tests zu schreiben, diese gegen das echte AWS bestehen zu lassen und anschließend eine speicherinterne Implementierung zu entwickeln, die dieselben Tests besteht. Nach 15 Minuten hatte Kiro eine erste Version von Amazon Simple Queue Service erstellt. Amazon zufolge verfeinerte das Team die Anweisung und ließ Kiro am Wochenende den Rest von AWS entwickeln.

Das Unternehmen erklärt, das erste Ergebnis habe Lücken aufgewiesen, sei aber nützlich genug gewesen, damit das Team bereits am darauffolgenden Montag mit dem Testen von Software beginnen konnte. Um aus dem Experiment ein Produkt zu machen, waren zusätzliche Entwicklungsarbeiten nötig, insbesondere an den Schutzmechanismen, die die Agenten innerhalb festgelegter Grenzen halten.

Drei Agententeams teilen die Arbeit auf

Der AWS Emulator nutzt drei Gruppen von Agenten, denen jeweils eine klar begrenzte Aufgabe zugewiesen ist. Die erste verwaltet eine auf AWS API Models basierende Testsuite zur Funktionsübereinstimmung und prüft jeden Test gegen die echte AWS-Cloud, bevor sie ihn einreicht. Amazon zufolge umfasst die Suite Zehntausende Tests für AWS und wächst weiter, sobald Agenten zusätzliches Verhalten entdecken.

Die zweite Gruppe führt diese Tests gegen den Emulator aus, findet Abweichungen und legt Fehlerberichte an. Die Agenten sollen die Fehler analysieren und Probleme zusammenfassen, die möglicherweise dieselbe Ursache haben. Die dritte Gruppe erhält einzelne Fehlerberichte, untersucht sie und ändert den Code, um die Probleme zu beheben.

Bevor eine Änderung zusammengeführt werden kann, muss sie eine Prüfungsstufe durchlaufen. Dabei wird kontrolliert, ob sie kompiliert, Programmierstandards einhält, sicher ist und die Funktionsübereinstimmung nicht verringert. Fehlgeschlagene Prüfungen schicken die Änderung zur Überarbeitung zurück. Amazon zufolge arbeiten Hunderte Agenten parallel, und täglich werden Tausende Probleme behoben.

Code und Testverlauf sind auf GitHub verfügbar

Sobald Änderungen die Haupt-Codebasis erreichen, erstellt die Release-Pipeline von Amazon daraus einen Build und testet sie erneut, bevor sie den Emulator als herunterladbare Binärdatei paketiert. Das Unternehmen erklärt, der Code werde am Ende dieses Prozesses zusammen mit den Tests zur Funktionsübereinstimmung auf GitHub veröffentlicht.

Das Repository enthält jeden von den Agenten angelegten Fehlerbericht. Behobene Probleme werden unter issues/things-that-now-work gespeichert, offene Punkte unter issues/things-that-do-not-work. Amazon zufolge steht der Quellcode unter einer Creative-Commons-CC0-Lizenz zur Verfügung und wird fortlaufend aktualisiert.

Für Nutzer bietet die Veröffentlichung eine lokale Möglichkeit, AWS-Anwendungen zu entwickeln und zu testen, und macht zugleich den Test- und Problemverlauf hinter der Software sichtbar. Für Entwickler, die an autonomen Programmiersystemen arbeiten, präsentiert Amazons Bericht den AWS Emulator außerdem als Fallstudie dafür, wie sich agentengenerierter Code mit eng definierten Aufgaben, wiederholbaren Tests und Prüfungen vor dem Zusammenführen kontrollieren lässt. Amazon zufolge werden künftige Beiträge den Multi-Agenten-Workflow, die Messung der Funktionsübereinstimmung sowie die Qualitäts- und Sicherheitsprozesse behandeln.