Meta hat seine Forum-App mit einem KI-Agenten im Entwicklungszyklus gebaut

Von Human-in-the-Loop zu Human-on-the-Loop

Laut Meta ist Forum eine eigenständige Groups-App, die ein kleines Team von Grund auf gebaut hat. Zugleich diente sie als Testfeld für eine andere Arbeitsweise. Als Erfolgsmaßstab habe das Team nicht die Menge an Code herangezogen, sondern verifizierte, produktionsreife Ergebnisse: Änderungen, die bauen, Tests bestehen und ein Review überstehen.

Im Human-in-the-Loop-Modell steuert der Entwickler jeden Schritt, und die KI unterstützt dabei, etwa indem sie eine Funktion automatisch vervollständigt oder eine Korrektur vorschlägt. Im Human-on-the-Loop-Modell führt der Agent die Iteration selbst aus: planen, implementieren, bauen, testen, korrigieren, wiederholen. Der Entwickler legt das Ziel fest, beobachtet den Lauf, greift ein, wenn der Agent vom Kurs abkommt, und gibt das Ergebnis frei.

Meta beschreibt dies als Zielbild, nicht als fertigen Zustand. Manche Phasen liefen heute autonom, in anderen sei weiterhin in jeder Iteration ein Entwickler beteiligt. Jedes ausgelieferte Ergebnis trägt nach wie vor die Freigabe eines Entwicklers. Das Team habe versucht, diese Freigabe schnell zu machen, indem es der Änderung Build-Ergebnisse, Testresultate und aufgezeichnete Verifikationssitzungen beifügte.

Verifikation als Maßstab und die Technik drumherum

Meta argumentiert, dass es wenig bringt, KI allein auf den Schritt des Codeschreibens anzusetzen. Die Ergebnisse hätten sich erst summiert, als der Ansatz auf Planung, Build, Test und Verifikation ausgeweitet wurde. Ohne Verifikation, so das Team, erzeuge KI-generierter Code plausibel wirkende Ausgaben, deren Funktion niemand bestätigt habe. Damit verlagere sich die Last auf das Review von Code, der fertig aussehe, es aber nicht sei. Eine Aufgabe gilt erst dann als erledigt, wenn automatisierte Tests und visuelle Prüfungen bestanden sind.

Das Team nennt vier Fähigkeiten, die den Loop sicher laufen lassen:

• Planung als technische Spezifikation: Mehrdeutigkeiten, die ein Entwickler intuitiv auflösen würde, führen beim Agenten zu Fehlern. Deshalb investierte das Team in vorgelagerte Zerlegung der Aufgaben und maschinenlesbaren Kontext.
• Automatisierte Verifikation im Loop: Build-Status, Unit-Tests und der Abgleich mit UI-Spezifikationen liefern dem Agenten Pass/Fail-Signale. So entstehen review-fertige Pull Requests mit vorausgefüllten Testplänen und aufgezeichneten Verifikationssitzungen.
• Simulierte Nutzertests mit Agenten: Navigationsagenten bedienen die laufende App wie ein Mensch, lesen den Bildschirm aus und melden Regressionen.
• Agentischer Produktionsbetrieb: Nach dem Launch nutzen Agenten Nutzerfeedback, um mögliche Regressionen zu untersuchen, und übergeben ihre Analyse an Entwickler, die über das weitere Vorgehen entscheiden.

Das Betriebsmodell besteht aus fünf Komponenten: Rules (dauerhafte Projektanweisungen, die einmal festgeschrieben werden, wenn der Agent einen Fehler öfter als zweimal wiederholt), Skills (Teamkonventionen als ladbare Schritte), Agents (Automatisierung von Prüfungen, die zuvor manuell liefen), Commands (Verkettung von Skills und Agents zu Workflows) und Hooks (automatische Trigger, etwa ein Linter-Lauf nach jedem Agentenzug).

Die Umgebung ändern, nicht die Prompts

Die größten Fortschritte erzielte Meta nach eigenen Angaben durch Änderungen an Code und Tooling statt an Prompts. Das Team hielt die Codebasis von Forum bewusst einfach und modularisierte zentrale Teile der Architektur, damit sich Agenten leicht einklinken können. Wo das nicht möglich war, baute es von Grund auf neu und tauschte Wiederverwendung gegen agentischen Durchsatz, was sich laut Team bei der Entwicklungsgeschwindigkeit auszahlte.

Die häufigste Fehlerquelle war, dass der Agent die Orientierung in der App verlor, etwa den Home-Feed bearbeitete, obwohl der Gruppen-Startbildschirm geändert werden sollte. Statt die App zu beschreiben, gab das Team dem Agenten Werkzeuge an die Hand: Er liest die laufende View-Hierarchie aus dem Simulator, listet Elemente auf dem Bildschirm auf und ermittelt den Pfad zu einer Ziel-View, bevor er handelt. Laut Meta gingen fehlgeleitete Änderungen dadurch deutlich zurück.

Für das Prototyping baute das Team eine eigene Build-Variante: eine Sandbox-App, die dieselbe Codebasis, dieselben Frameworks und dasselbe Designsystem nutzt wie die Produktion. Prototyp-Code wird über eine Plugin-/Socket-Architektur aus dem Produktions-Build herausgehalten. Meta zufolge konnten Designer und funktionsübergreifende Partner mit KI-Werkzeugen prototypen, ohne dass für jede Änderung ein Entwickler nötig war. Sandbox-Arbeit ließ sich ohne Neuaufbau in die Produktion übernehmen, und Prototyp-Code konnte die Produktions-App nicht zum Absturz bringen, weil er in diesem Build gar nicht existierte.

Stresstests und was das bedeutet

Das Team setzte den Agenten auch als Tester ein. Es richtete wiederholbare Stressszenarien ein, die Nutzerverhalten nachahmen, darunter aggressives Scrollen, zufälliges Stöbern in Gruppen, schnelle Navigation und wiederholtes Laden von Medien, und ließ sie routinemäßig über alle Builds laufen. Die Läufe liefern Signale wie Abstürze, Speicherwachstum, Page Faults und UI-Regressionen, die der Agent einordnen und auf die auslösende Abfolge zurückführen kann.

Ein Lauf deckte ein Speicherproblem auf. Laut Meta isolierte der Agent einen reproduzierbaren Fall, schlug eine Korrektur vor und verifizierte sie noch während der Entwicklung, bevor die App Nutzer erreichte. Die Korrektur senkte das Speicherwachstum auf dem Gerät und die Page Faults über wiederholte Stresssitzungen hinweg deutlich. Die Architekturentscheidungen trafen weiterhin Entwickler.

Für Engineering-Teams zeigt der Bericht, wo nach Metas Darstellung der Aufwand liegt: vertrauenswürdige Verifikatoren, lesbarer Code und Werkzeuge, mit denen Agenten den Zustand direkt prüfen können. Wie viel sich sicher an den Loop übergeben lässt, hängt dem Beitrag zufolge davon ab, wie weit man den Verifikatoren vertrauen kann. Der hier vorliegende Quelltext endet mitten in einem Abschnitt über die Anwendung des Ansatzes auf Forums Feed.