Modal: NVIDIA-Vera-CPUs können den Sandbox-Durchsatz in ersten Tests verdoppeln

Der erste Arm-Server für einen langjährigen x86-Betrieb

Laut Modal hat NVIDIA den ersten Vera-CPU-Server des Unternehmens vergangene Woche persönlich in dessen Büro in San Francisco geliefert. Vera ist NVIDIAs neue Arm-kompatible CPU. Sie wurde für die GPU-Plattform Vera Rubin entwickelt, ist aber auch als eigenständiger CPU-Server erhältlich.

Für Modal wäre der Schritt ein großer Einschnitt, denn das Unternehmen setzt seit jeher ausschließlich auf x86-Maschinen. Um eine andere CPU-Architektur zu unterstützen, müsste es seine Infrastruktur und sein System zum Bau von Images anpassen. Trotz dieses Aufwands bezeichnet Modal die Benchmark-Ergebnisse als beeindruckend und nennt Vera eine „unglaublich überzeugende Option“ für den Betrieb von Modal Sandboxes.

Warum Sandboxes CPUs ungewöhnlich stark fordern

Modal erklärt, dass der Betrieb eines Sandbox-Produkts bedeutet, auf jedem Cloud-Host Hunderte parallele Container und VMs zu orchestrieren. Die Workloads sind in mehrfacher Hinsicht unberechenbar:

• Die Ressourcennutzung kann extrem sprunghaft sein. Eine Sandbox wartet womöglich die meiste Zeit untätig auf ein LLM und springt dann durch ein npm install oder einen aufwendigen grep-Befehl auf das Zehnfache ihrer normalen CPU-Auslastung.
• Die Form der Workloads ist vorab nicht bekannt, weil ein LLM beliebige Dinge in die Sandbox legen kann.
• Die Dimensionierung der Ressourcen ist häufig reine Schätzung.

Weil sich diese gemischten Workloads einen gemeinsamen Rechenpool teilen, können Noisy-Neighbor-Probleme entstehen, bei denen das Verhalten eines Mandanten die Leistung eines anderen beeinträchtigt. Modal Sandboxes unterstützen Bursting: Nutzer können garantierte Kapazität für die typische P50-Auslastung reservieren statt für den Worst-Case-Moment P100. Laut Modal hat das Nutzern Millionen von Dollar gespart, erhöht aber die Anfälligkeit für Noisy-Neighbor-Probleme.

CPU-Zeit verursacht nach Darstellung des Unternehmens zudem weiterreichende Kosten. Bei Hintergrund-Agenten, etwa Ramp Inspect oder solchen, die auf Niteshift laufen, bedeuten schnellere Agenten schnellere Antworten und weniger CPU-Zeit. Beim Reinforcement Learning liegen die GPUs brach, während Prozesse in Sandboxes laufen, und die meisten Trainingsaufbauten arbeiten weiterhin synchron. Jede auf der CPU gesparte Zeit ist daher auch auf der GPU gesparte Zeit.

Der Benchmark: Agentless Agent Bench

Für den Vera-Test hat Modal den Agentless Agent Bench entwickelt, eine Sammlung von 50 Oracle-Lösungen und Verifiern aus Terminal-Bench. Sie sind von allen Netzwerkaufrufen befreit und in parallelen Docker-Containern vorgewärmt, sodass nur die Arbeit übrig bleibt, die auf der CPU anfällt, etwa Kompilieren, Durchsuchen von Dateien, Git-Operationen und Geräteemulation.

Im ersten Test, der seriell auf einer unbelasteten Maschine lief, war der Modal-Autor nach eigener Aussage skeptisch. Über die 50 Aufgaben hinweg schnitt Vera oft besser ab als die anderen CPUs, aber nicht immer und nicht mit großem Abstand.

Unter Last änderte sich das Bild. Der Durchsatztest erhöht die Zahl paralleler Container und lässt in einer festen Zeit so viele Task-Durchläufe wie möglich in einer Schleife laufen. Modal berichtet von bis zu doppeltem Task-Durchsatz auf Vera im Vergleich zu einer äquivalenten x86-GNR-Maschine, während die Latenz einzelner Tasks gleich oder teils niedriger war als auf der x86-Maschine. Laut Modal wird Vera nicht langsamer, wenn sich Jobs anhäufen. Das Vera-Team habe bestätigt, dass die Ergebnisse nicht überraschend seien, so das Unternehmen.

Was das für Sandbox-Nutzer bedeuten könnte

Die Leistung von Vera unter Konkurrenzdruck führt Modal auf die hohe Speicherbandbreite zurück, die deutlich mehr Container-Workloads pro Kern ohne CPU-Drosselung erlaube. Mit steigender CPU-Zahl erreichten die Alternativen früh ein Durchsatz-Plateau, während Vera weiter zulegte. Modal geht davon aus, Vera über den für den Benchmark genutzten Knoten hinaus weiter ausreizen zu können.

Für Modal bedeutet das eine höhere Packungsdichte und einen nachsichtigeren Burst-Schutz. Sandbox-Nutzern könne das Unternehmen damit höhere absolute Skalierung und höheren Durchsatz bieten, ohne bei der Latenz Abstriche zu machen. Modal will nach eigenen Angaben die Unterstützung von Vera-CPUs für Sandboxes ausrollen und gemeinsam mit NVIDIA und Cloud-Anbietern seine Flotte ausbauen. Die Ergebnisse sind früh und stammen aus Modals eigenem Benchmark; die Quelle nennt weder einen Zeitplan noch Preise.