Daytona: NVIDIA Vera startet 1.000 Agenten-Sandboxes in 10,8 Sekunden

Zwei Tests: Startgeschwindigkeit und Dauerlast

Daytona, ein Anbieter von Infrastruktur für die Ausführung KI-generierten Codes, hat NVIDIA Vera mit AMD-EPYC-Prozessoren der Generation Zen 5 verglichen. Das Unternehmen ließ dieselbe Aufgabe für Coding-Agenten auf großen Flotten seiner Sandboxes laufen und maß außerdem, wie schnell jedes System diese starten kann.

Der erste Test galt dem Start. Jede von 1.000 Sandboxes bootete dasselbe Agenten-Image und führte dieselben Befehle aus. Daytona stoppte die Zeit, bis alle bereitgestellt und jeweils bereit für Arbeit waren. Laut Daytona benötigte Vera 10,8 Sekunden, der EPYC 9575F 32,3 Sekunden und der EPYC 9755 88,4 Sekunden.

Anschließend verdoppelte Daytona die Flotte auf 2.000 Sandboxes. Vera brachte sie alle in 27,4 Sekunden online. Das Unternehmen weist darauf hin, dass dies schneller ist, als der 9575F für 1.000 Sandboxes brauchte.

Die Startgeschwindigkeit ist wichtig, weil Daytona nach eigenen Angaben an einem typischen Tag Millionen Sandboxes startet und die mittlere Sandbox weniger als fünf Minuten lebt. Umgebungen werden ständig ersetzt, wenn Agenten Aufgaben beenden und Rollouts zurückgesetzt werden. Der Start passiert also den ganzen Tag und nicht nur einmal.

Durchsatz bei steigender Parallelität

Der zweite Test maß den dauerhaften Durchsatz. Daytona erhöhte die Parallelität von 44 auf 2.000 Sandboxes, die jeweils dieselbe Aufgabe ausführten: ein kleines, fehlerhaftes Python-Paket bauen, es durchsuchen, einen Patch einspielen und Tests laufen lassen.

Mit zunehmender Last setzten sich die drei Chips laut Unternehmen voneinander ab:

• EPYC 9575F: flacht bei etwa 8 Agenten-Jobs pro Sekunde ab.
• EPYC 9755: flacht bei etwa 11 Agenten-Jobs pro Sekunde ab.
• NVIDIA Vera: erreicht einen Spitzenwert von 13,3 Agenten-Jobs pro Sekunde und bleibt bis 2.000 Sandboxes nahe bei 13.

Bei 2.000 parallelen Sandboxes schaffte Vera weiterhin 12,7 Agenten-Jobs pro Sekunde, gegenüber 10,9 beim 9755 und 8,1 beim 9575F. Daytona betont, dass die insgesamt geleistete Arbeit nicht einbricht, wenn der Sockel voll ausgelastet ist, sodass sich mehr isolierte Umgebungen ergänzen lassen, ohne dass der Durchsatz zusammenbricht. CTO Vedran Jukić sagte, Vera „wird etwas langsamer, bleibt aber stabil, statt auseinanderzufallen“.

Warum die Dichte die Kosten bestimmt

Daytona argumentiert, dass Agenten die Art verändern, wie Infrastruktur gebaut wird. Ein Unternehmen mit 1.000 Entwicklern hat vielleicht 1.000 Laptops, hatte aber keinen Grund, all diese Entwicklungsumgebungen auf einer einzigen CPU zu bündeln. Eine Organisation, die Agenten einsetzt, hat künftig womöglich mehr Agenten parallel als Entwickler, und jeder braucht ein eigenes Dateisystem, eigene Prozesse, Abhängigkeiten und Werkzeuge.

Den Durchsatz übersetzte das Unternehmen anhand einer beispielhaften Last von 1.000 abgeschlossenen Agenten-Jobs pro Sekunde in Hardwarebedarf. In diesem Modell braucht Vera etwa 15 % weniger Maschinen als der 9755 und etwa 38 % weniger als der 9575F. Weniger Maschinen bedeuten laut Daytona auch weniger Rackplatz, weniger Netzwerkverbindungen, weniger Strom und Kühlung sowie weniger Server, die betrieben werden müssen.

Was das für Kunden bedeutet

Daytona zufolge profitieren Kunden von diesen Vorteilen, ohne die Hardware selbst verwalten zu müssen. Als Beispiel nennt das Unternehmen Handshake, das Umgebungen für Reinforcement Learning baut, in denen KI-Modelle lernen, indem sie Aufgaben ausprobieren. Laut Daytona kann ein Projekt innerhalb weniger Stunden von null auf Tausende parallele Sandboxes springen, wobei die täglichen Sandbox-Läufe sechsstellige Werte erreichen. Weil jeder Versuch eine eigene isolierte Umgebung braucht, hängt die Zahl der Experimente, die ein Team durchführen kann, auch davon ab, wie viel Arbeit jede Maschine dauerhaft leisten kann.

Die Ergebnisse stammen aus Daytonas eigenen Tests mit einer einzelnen Coding-Agenten-Aufgabe und einem beispielhaften Kostenmodell. Sie beschreiben daher genau dieses Setup und nicht jede Agenten-Last. Daytonas Fazit: Agenten-Infrastruktur wird zu einem Dichteproblem. Systeme müssen mehr Umgebungen erzeugen, sie effizient packen und unter hoher Last produktiv halten.