E2B: NVIDIA Vera kann bis zu 1.550 ausgelastete Sandboxes betreiben

NVIDIA Vera lieferte in den Tests von E2B eine höhere Single-Thread-Rechenleistung und schnellere Speicherbefüllung. Auf einem Server liefen bis zu 1.550 ausgelastete Sandboxes. Das Unternehmen prüft die Plattform als Grundlage für Agenten-Workloads, die viele isolierte Rechenumgebungen benötigen.
- Vera erreichte gegenüber E2Bs AMD-Referenz einen 1,51-fachen Single-Thread-Rechendurchsatz.
- Die Speicherbefüllung erreichte 62,8 GB/s, verglichen mit 17,4 GB/s bei AMD.
- Ein optimierter Vera-Server hielt 1.400 bis 1.550 ausgelastete Sandboxes aufrecht.
- E2B maß 50 ms für warme Starts und 3,8 ms für Befehls-Roundtrips bei geringer Auslastung.
- Das Unternehmen schloss 22.145 Erstellungs- und Löschzyklen ohne Fehler ab.
Vera zielt auf die Anforderungen von Agentensitzungen
E2B stellt über ein SDK isolierte Computer bereit und nutzt dafür auf MicroVMs basierende Sandboxes. Sie eignen sich unter anderem für die Suche in Repositories, das Bearbeiten von Dateien, Testläufe und Skripte. Nach Angaben des Unternehmens gibt es in seiner Laufzeitumgebung keinen Kaltstart, weil jede Sandbox aus einem Snapshot fortgesetzt wird und der Speicher nur bei Bedarf geladen wird.
Dadurch sind Prozessor- und Speicherleistung auch dann wichtig, wenn ein KI-Modell an anderer Stelle läuft. Ein Agent benötigt möglicherweise zunächst die Ausgabe eines Befehls, bevor er den nächsten auswählen kann. Gleichzeitig können viele andere Sandboxes Pakete installieren, Skripte ausführen oder auf eine Modellantwort warten.
Laut E2B passt NVIDIA Vera zu diesem Workload, weil die Plattform schnelle Berechnungen, eine hohe Speicherbandbreite für die Wiederherstellung von Snapshots und Kapazität für viele Sandboxes auf einem einzigen Server bietet.
Benchmarks zeigen Zugewinne bei Berechnungen und Speicherbefüllung
Im Single-Thread-Rechentest von E2B erreichte Vera 7.759 Ereignisse pro Sekunde, verglichen mit 5.131 beim AMD-EPYC-9B45-Referenzsystem des Unternehmens. E2B gibt dies als den 1,51-fachen Durchsatz an, im Titel des Ergebnisses wird es als 1,5-fach bezeichnet.
Bei der Speicherbefüllung mit derselben 2-MiB-Huge-Page-Grundlage wie bei den Sandboxes erreichte Vera 62,8 GB/s. Das AMD-Referenzsystem kam auf 17,4 GB/s. Damit lag der Durchsatz laut E2B um den Faktor 3,61 höher.
E2B weist darauf hin, dass der Speichertest die Speicherbefüllung und nicht den vollständigen Start einer Sandbox misst. Die Leistung einzelner Tools und Anwendungen werde außerdem variieren. Das Unternehmen stellt den Wert in Zusammenhang mit seiner Snapshot-basierten Laufzeitumgebung, in der der Speicher beim Fortsetzen und Ausführen von Umgebungen befüllt wird.
Ein Server hielt bis zu 1.550 ausgelastete Sandboxes aufrecht
E2B testete seine Single-Node-Distribution E2B Embed direkt auf Vera-Bare-Metal. In separaten Tests maß das Unternehmen 50 ms für warme, sequenzielle Sandbox-Starts und 3,8 ms für Befehls-Roundtrips bei geringer Auslastung. E2B betont, dass diese Werte nicht die Latenzen bei einer Flottenauslastung darstellen.
Für einen gemischten Workload führte jede Sandbox wiederholt einen CPU-Burst und einen 10-MiB-Schreibvorgang auf der Festplatte aus, gefolgt von einer Pause. Eine von zehn Sandboxes lief kontinuierlich. In vier optimierten Durchläufen hielt der Server 1.400 bis 1.550 ausgelastete Sandboxes innerhalb der Latenz- und Fehlerziele des Tests aufrecht. Bei 1.550 Sandboxes lag die Roundtrip-Latenz für Befehle im 95. Perzentil bei 255 ms. Ein Workload, bei dem jede Sandbox kontinuierlich lief, erreichte 550.
Auch Änderungen an der Konfiguration hatten erhebliche Auswirkungen. Laut E2B erreichten erste Durchläufe wegen Netzwerk- und Gerätebeschränkungen 320 Sandboxes. Durch Optimierungen am Host stieg das Ergebnis auf bis zu 1.550. In einer separaten Churn-Kampagne schloss das Unternehmen 22.145 Erstellungs- und Löschzyklen ohne Fehler ab.
Als nächste Schritte nennt E2B einen Vera-Cluster mit mehreren Knoten, kalte Fortsetzungen mit Unterstützung durch Objektspeicher sowie einen x86-Vergleich mit derselben E2B-Paketierung und Host-Optimierung. Für Entwickler deuten die gemeldeten Ergebnisse auf schnellere individuelle Umgebungen und die Möglichkeit hin, viele Agentenversuche parallel auszuführen. Die Tests fanden allerdings auf einem einzigen Dual-Socket-Server aus der Vorproduktion statt.


