Novita Sandbox integriert sich für agentisches RL-Training in Miles

Ein Anbieterwechsel direkt in Miles

Die Integration ist im Hauptzweig von Miles verfügbar und umfasst zwei Rezepte für agentische Umgebungen: Harbor-Trials und das Terminal-Bench-2-OpenEnv-Rezept. Nutzer können den Sandbox-Anbieter wechseln und weiterhin den Miles-Trainingsbefehl verwenden, ohne einen separaten Anbieter-Dienst zu betreiben.

Für OpenEnv erstellt OPENENV_SANDBOX_BACKEND=novita die Sandbox jeder Episode bei Novita in der Region, die über NOVITA_DOMAIN angegeben wird. Die Schnellstart-Anleitung setzt eine funktionierende Miles-Installation, ein Novita-Konto und einen API-Schlüssel sowie einen Checkout der Terminal-Bench-2-Aufgabe voraus. Das Novita-Extra installiert novita-sandbox>=2.0.7.

Warum isolierte Umgebungen für RL-Agenten wichtig sind

Miles trennt die Generierung von Rollouts, Richtlinien-Updates und die Ausführung der Umgebung. Rollouts laufen auf SGLang, während Richtlinien-Updates auf Megatron-LM ausgeführt werden. Als Alternativen stehen FSDP2 und torchtitan zur Verfügung. In der Umgebung führt ein Agent Befehle aus, untersucht Dateien, beobachtet Ergebnisse und wählt seine nächste Aktion.

Agentische Episoden können Pakete installieren, Repositories bearbeiten, Server starten oder Prozesse weiterlaufen lassen. Wenn Episoden ein Dateisystem oder Hintergrundprozesse gemeinsam nutzen, können spätere Rollouts in einem anderen Zustand beginnen. Novita stellt die Ausführungsumgebung bereit, während Miles weiterhin Rollouts, Belohnungen und Richtlinien-Updates koordiniert. Aufgabenumgebungen, Agentenprozesse, Befehlsausführung und Verifizierung laufen innerhalb einer Novita Sandbox.

Harbor und OpenEnv nutzen separate Konnektoren

Das Harbor-Rezept führt Trials über den Miles-Rollout-Worker aus, während die Aufgabenumgebung bei Novita gehostet wird. Es verwendet den Branch harbor-miles-v0.20.0 und das Extra harbor[novita]. Mit HARBOR_ENV_TYPE=novita wird Novita für die Trials ausgewählt. Die Adresse des Sitzungsservers muss aus den Sandboxes erreichbar sein und darf daher keine Loopback-Adresse des Trainers sein.

Der OpenEnv-Konnektor verbindet Novita mit Terminal-Bench-2. Er erstellt pro Aufgabe eine benannte Sandbox-Vorlage und pro Episode eine Sandbox. Die Namen der Vorlagen werden aus der Aufgaben-ID und einem Digest des Build-Rezepts abgeleitet. Dazu gehören das Basis-Image, Build-Befehle, Ressourcen, der Build-Nutzer und der Startbefehl. Eine Änderung des Rezepts erzeugt daher einen neuen Vorlagennamen, anstatt stillschweigend ein veraltetes Image wiederzuverwenden.

Lebenszyklussteuerung unterstützt längere Rollout-Jobs

Zu Beginn einer OpenEnv-Episode startet die Sandbox den Umgebungsserver und wartet auf dessen Health-Endpunkt, bevor sie die Kontrolle an den Agenten übergibt. Nach Ende der Episode wird die Sandbox beendet. Episodenbezogene Sandboxes verhindern, dass geänderte Dateien und laufende Prozesse in spätere Episoden durchsickern.

Die Integration umfasst außerdem einen Mechanismus für die Lebensdauer, Keepalive-Verhalten und eine begrenzte Parallelität. OPENENV_NOVITA_SANDBOX_TTL_S steht standardmäßig auf 1800 Sekunden. Ein Keepalive-Thread setzt die TTL neu, solange der Prozess läuft, der die Sandbox erstellt hat. Wird dieser Prozess gewaltsam beendet, wird die Sandbox innerhalb der TTL zurückgefordert. Konfigurierbare Parallelitätsgrenzen und Wiederholungen bei Antworten der Novita-API zur Ratenbegrenzung sollen größere Rollout-Jobs unterstützen.

Für Nutzer, die Miles aus dem Hauptzweig ausführen, bietet die Integration entfernte isolierte Umgebungen für Harbor-Aufgaben und Terminal-Bench-2-Episoden, ohne dass lokale Docker-Kapazitäten für parallele Trials erforderlich sind. Novita zufolge stellt die Sandbox die Ausführungsebene bereit, während die Miles-Rezepte weiterhin für den übrigen Trainingsablauf zuständig sind.