Anthropic ersetzt Git in seinem Monorepo durch das eigene Versionskontrollsystem Scion

Warum Git bei Anthropic an seine Grenzen stieß

Anthropic begründet den Wechsel damit, dass Git nicht mehr skalierte. Arize zufolge stieg die Zahl der Merges im Monorepo von 2.500 pro Tag im Mai auf über 30.000 im September.

Ein zweites Problem waren die Checkouts. Die Historie des Hauptzweigs umfasste fast 100 GB, eine komprimierte Arbeitskopie über 25 GB. Anthropic führte täglich rund 25 Millionen CI-Checkouts aus. Hätte jeder davon die komplette Arbeitskopie geladen, wären mehr als 600 Petabyte Git-Traffic pro Tag entstanden. Das Unternehmen probierte Shallow Clones, Sparse Checkouts und Hunderte Spiegel seiner Git-Server aus, doch nichts davon hielt Schritt.

Das Design von Git erklärt die Reibung. Jeder Clone kopiert das gesamte Repository samt Historie. Das passt zu menschlichen Entwicklerinnen und Entwicklern, die womöglich offline arbeiten und eine schnelle lokale Umgebung wollen. Scion dagegen wurde für Agenten entwickelt, die in einem völlig anderen Tempo arbeiten, und für ein Monorepo in der Größe von Anthropics.

Worin sich Scion von Git unterscheidet

Scion verlagert den Großteil der Arbeit auf den Server. Laut dem Beitrag von Arize sind das die wichtigsten Designentscheidungen:

• Antworten vom Server: Fragen wie „Wer hat diese Zeile zuletzt geändert?“ oder „Wie sieht der Diff zwischen zwei Commits aus?“ beantwortet ein API-Aufruf, der Client braucht den Baum nicht.
• Commits auf dem Server: Jede Änderung an der Quellcode-Historie geschieht auf dem Server, es wird also nichts gepusht.
• Partielle Checkouts: Ein Job erhält nur die Verzeichnisse, die er anfordert, und Dateien werden erst beim Lesen geladen.
• Wenige Branches: Jeder Branch ist ein gemeinsamer Zustand, auf den sich alle Server einigen müssen. Scion beschränkt sich daher weitgehend auf Main- und Release-Branches.

Anthropic zufolge hält das neue Setup mit dem Volumen Schritt und braucht 200-mal weniger CPU und Arbeitsspeicher als die Flotte aus Git-Spiegeln, die es ersetzt hat. Arize merkt an, dass die Ideen nicht neu sind: Googles Piper und Metas Sapling bewältigen riesige Monorepos seit Jahren mit ähnlichen Kompromissen. Der Unterschied: Diese Konzerne brauchten dafür Zehntausende Ingenieure und Jahre, während Anthropic deutlich kleiner und jünger ist.

Antique, Merge-Queues und das Ende der zeilenweisen Prüfung

Gleichzeitig mit Scion entstand Antique, ein System für Code-Reviews. Arize zufolge kann Antique eine reine Kommentaränderung von einer sensiblen Logikänderung unterscheiden, sodass Menschen nur jene Änderungen prüfen, die ihre Zeit rechtfertigen. Beim Scion-Code selbst prüfen Ingenieure inzwischen die Absicht hinter jeder Änderung, statt jede Zeile zu lesen.

Arize argumentiert, dass diese Verschiebung auch ohne riesigen Baum Git belastet hätte, weil Merges extrem häufig werden, sobald die menschliche Prüfung nicht mehr das Nadelöhr ist. Im Agentenmaßstab können Hunderte Änderungen gemergt werden, während Tests noch laufen. Anthropic bekam die übliche globale Sperre der Merge-Queue nicht zum Laufen und ging stattdessen dazu über, nach dem Merge und vor dem Deployment zu testen. Dass gleichzeitige Änderungen gelegentlich kollidieren, nimmt das Unternehmen in Kauf, denn Claude kann solche Konflikte schneller beheben, als ein Mensch sie bemerkt.

Perplexity ist laut dem Beitrag zu einem ähnlichen Ergebnis gekommen. Das Unternehmen verzichtet ganz auf Pull Requests, da kein Mensch jede Änderung prüft, und setzt auf automatisierte Checks beim Einreichen eines Commits.

Müssen andere Teams Git verlassen?

Arize verweist auf Unternehmen, die viele Agenten koordinieren, ohne Git aufzugeben. Perplexity hat das Speicherdesign hinter seiner Funktion Projects beschrieben, die es als Git-Forge für Agenten bezeichnet. Jeder Agent arbeitet in einer kurzlebigen Sandbox und reicht Commits bei einem Dienst ein, der Standard-Git auf S3 betreibt. Kollidieren zwei Agenten, wird derjenige abgewiesen, der auf einem veralteten Stand aufsetzt. Er spielt seine Änderung erneut ein und versucht es noch einmal. Perplexity zufolge kollidieren weniger als 2 % der Commits. Die Repositories halten sich klein, und ältere Historie wird zu einem Snapshot zusammengefasst.

Bei GitSwarm, einem Forschungssystem von Forschenden von Meta und mehreren Universitäten, tragen identische Agenten zu einem gemeinsamen, verzweigten Git-Repository bei, ohne dass ein Planer Aufgaben verteilt. Das Repository selbst ist der Koordinationsmechanismus, und es ist gewöhnliches Git.

Arize kommt zu dem Schluss, dass Scion das Problem vieler Agenten in einem einzigen riesigen Monorepo löst, nicht das Problem, viele Agenten zu haben. Anthropic selbst betont, Scion sei kein allgemeiner Ersatz für Git. Als Open Source veröffentlicht das Unternehmen Scion nicht, zum einen deshalb, zum anderen weil eine Einführung auch den Austausch von Code-Review, Codesuche und CI bedeuten würde. Nötig sei es nur für ein Monorepo von der Größe des eigenen, doch Anthropic erwartet, dass das Problem in den nächsten 6 bis 12 Monaten breiter spürbar wird. Für die meisten Teams funktioniert Git derzeit weiterhin.