Modal macht VM Sandboxes für KI-Agenten allgemein verfügbar

Ein vollständiger Computer hinter einem Flag

Modal zufolge richten sich VM Sandboxes an Teams, die ihren Agenten die Leistungsfähigkeit eines vollständigen Computers geben wollen. Entwickler wählen die neue Laufzeit, indem sie beim Erstellen einer modal.Sandbox runtime="vm" setzen. Im Beispiel des Unternehmens wird ein Befehl in der VM ausgeführt und als Ergebnis ein Linux-Kernel-String zurückgegeben.

Laut Modal bietet die VM-Laufzeit dieselben APIs, modal.Images, Cold-Starts im Sub-Sekunden-Bereich und CPU-/Speicher-Bursting wie bisher. Sie unterstützt außerdem die Hunderttausenden gleichzeitigen Sandboxes, die Nutzer von Modal gewohnt sind.

Ein zweites Beispiel in der Ankündigung startet ein Docker-in-Docker-Image, wartet auf eine Readiness-Probe und führt dann den hello-world-Container innerhalb der Sandbox aus.

Warum Modal die Lösung entwickelt hat

Modal erklärt, das Unternehmen sei ursprünglich rund um Serverless-GPUs entstanden und habe eine auf gVisor basierende Laufzeit genutzt, um leichtgewichtige GPU-Container schnell zu skalieren. Auch das Sandbox-Produkt baut auf gVisor auf. Anfang des Jahres sah das Unternehmen, wie Ramp auf Modal Sandboxes einen internen Agenten baute, der den gesamten Softwareentwicklungszyklus steuert. Das machte deutlich, wohin sich Agenten entwickeln.

Modal argumentiert, Agenten wollten zunehmend in etwas leben, das wie eine echte Maschine aussieht. Das Unternehmen nennt Docker-Stacks, lokale Datenbanken, Dev-Server, grafische Umgebungen, Mobile-Simulatoren und Arbeiten am Linux-Kernel selbst. In den Worten des Unternehmens: „agents just want a computer.“

Technisch ging Modal vom Rust-basierten Projekt Cloud Hypervisor aus und ergänzte ein halbes Dutzend Neuerungen bei Host-Dateisystemen, Lazy Loading von Images, Memory-Bursting und Snapshotting. Detaillierte Einblicke in diese Arbeit kündigt das Unternehmen für die kommenden Wochen an.

Erste Kunden

Modal zufolge haben frühe Kunden in den vergangenen paar Monaten über 20 Millionen VMs gestartet. Das Unternehmen hebt drei hervor:

• Linear: Jede Linear Coding Session läuft inzwischen auf einer VM Sandbox. Linear startet die vollständige Entwicklungsumgebung des Nutzers in der VM und setzt cgroups und Network Namespaces ein, damit der Coding-Agent, der Dev-Server und der eigene Host-Prozess nicht um Ressourcen konkurrieren. Ingenieur Ryan Delaney sagte, der Wechsel habe „took a single flag, and everything just worked.“
• Legora: Das Unternehmen für Rechtsagenten nutzt VM Sandboxes für Evals und baut in jeder Sandbox seine komplette App auf, einschließlich Postgres, eines DOCX-Editors und der eigenen Code-Sandboxes des Agenten. Eirik Drage Steen sagte, Docker verhalte sich nun wie auf einem normalen Linux-Host, und das Team habe seine Workarounds für Netzwerk und FUSE gelöscht.
• Snorkel: Das KI-Datenlabor führt mit Harbor Millionen Agentensimulationen pro Monat aus, etwa für Szenarien wie Datenbankmigrationen ohne Ausfallzeit und das Austauschen von Diensten im laufenden Betrieb unter Last. Rustem Feyzkhanov beschrieb die VM als vollständige Maschine für jede Simulation.

Sollten Teams wechseln?

Modals Antwort lautet: Das kommt darauf an. gVisor bleibt die Standardlaufzeit, und Workloads, die dort heute gut laufen, werden das weiterhin tun. Das Unternehmen empfiehlt runtime="vm", wenn ein Workload an die Grenzen des Userspace stößt, etwa bei Docker, FUSE-Dateisystemen oder speziellen Linux-Kernel-Funktionen.

Beide Laufzeiten teilen sich dieselben APIs, Images und die nutzungsbasierte Preisgestaltung, sodass der Wechsel lediglich das Umlegen eines Flags erfordert. Preise nennt Modal in der Ankündigung nicht.

Mit Blick nach vorn sagt Modal, VM Sandboxes seien vorerst bewusst containerförmig gestaltet, damit sie als Drop-in-Laufzeit mit bestehendem Code kompatibel sind. Das Unternehmen plant, neue Primitive zu entwickeln, die die erweiterten Fähigkeiten von VMs nutzen, und VMs elastischer und leichtgewichtiger zu machen.