Harbor kann jetzt jede Agenten-Evaluierungsaufgabe in Docker Sandboxes ausführen

Warum Agenten-Evaluierungen Isolation brauchen

Docker beschreibt die Evaluierung von Agenten als einfache Schleife: Man gibt dem Agenten eine reale Aufgabe, lässt ihn arbeiten und prüft das Ergebnis. Dabei installiert der Agent Pakete, bearbeitet Dateien und führt Befehle aus. Docker bezeichnet das als nicht vertrauenswürdigen, von einer KI geschriebenen Code und gibt an, dass ein Benchmark ihn tausendfach ausführt.

Hinzu kommt ein Fairnessproblem. Docker weist darauf hin, dass ein Agent mitunter eine bestandene Wertung erreichen kann, indem er die Prüfung austrickst, statt die Aufgabe zu lösen, etwa indem er Tests manipuliert oder die Datei überschreibt, in der sein Ergebnis festgehalten wird. Dieses Phänomen heißt Reward Hacking und ist laut Docker in der Evaluierungs-Community ein wachsendes Problem.

Nach Dockers Darstellung braucht die Ausführung von Agenten-Evaluierungen deshalb zweierlei: ein Framework, das jede Aufgabe ausführt, den Agenten arbeiten lässt, das Ergebnis prüft und Wertungen sowie Logs sammelt, und eine saubere, isolierte Umgebung für jede Aufgabe. Das Erste leistet Harbor, ein Open-Source-Evaluierungsframework, das etwa einen Benchmark wie Terminal-Bench aufnehmen kann. Das Zweite übernehmen nun Docker Sandboxes.

Was Docker Sandboxes beisteuern

Docker Sandboxes sind laut dem Unternehmen microVM-Umgebungen, in denen sich Agenten wie Claude Code, Codex und Cursor sicher ausführen lassen. Docker nennt vier Vorteile:

• Standardmäßig starke Isolation. Jede Aufgabe läuft in einer microVM statt in einem geteilten Container. Eine microVM hat einen eigenen Kernel. Was der Agent tut, bleibt Docker zufolge innerhalb seiner Sandbox und erreicht weder den Host-Rechner noch andere Aufgaben noch irgendetwas außerhalb der Umgebung.
• Faire, reproduzierbare Evaluierungen. Über konfigurierbare Netzwerkregeln kann eine Aufgabe beim Setup herunterladen, was sie braucht, und der Agent wird anschließend während der Arbeit vom Internet abgeschnitten. So lassen sich alle Agenten unter denselben Bedingungen testen.
• Parallele Läufe ohne Maschinenverwaltung. Mit Docker Cloud Sandboxes können Teams viele Aufgaben gleichzeitig ausführen, ohne manuell etwas bereitzustellen. Docker gibt an, Harbor mit 64 gleichzeitigen Workern auf Docker Cloud Sandboxes getestet zu haben.
• Lokale Entwicklung, Skalierung in der Cloud. Dieselben Aufgaben laufen lokal oder in Docker Cloud Sandboxes. Nutzer können also auf dem Laptop entwickeln und die Aufgaben anschließend im Hintergrund und in großem Maßstab ausführen, ohne etwas anzupassen.

So lässt es sich ausprobieren

Docker nennt folgende Schritte: Zuerst installiert man Harbor mit Docker Sandboxes über uv tool install "harbor[sbx]". Danach aktiviert man den Cloud-Zugang für das eigene Docker-Konto und erstellt ein Personal Access Token, wobei unter den Zugriffsberechtigungen Cloud Sandboxes ausgewählt wird. Das Token wird nur einmal angezeigt und muss daher gespeichert werden.

Anschließend setzt man die Docker-ID und das Token als Umgebungsvariablen SBX_DOCKER_USERNAME und SBX_DOCKER_PAT und führt eine Aufgabe in Cloud Sandboxes mit harbor run -t hello-world/hello-world -a oracle -e sbx aus.

Für die lokale Ausführung installiert man stattdessen die Docker-Sandboxes-CLI, führt sbx login aus und hängt --ek target=local an denselben Befehl an. Laut Docker ist der lokale Einstieg kostenlos, mit der Option, später auf Cloud Sandboxes zu skalieren.

Grenzen und Bedeutung

Die aktuelle Integration unterstützt Aufgaben mit einem einzelnen Container, die auf CPUs laufen. Unterstützung für GPUs und mehrere Container folge in Kürze, so Docker, ohne einen Termin zu nennen. Benchmarks, die auf solche Konfigurationen angewiesen sind, können die Integration daher noch nicht nutzen.

Für Teams, die Agenten evaluieren, liegt das Angebot darin, nicht vertrauenswürdigen Agenten-Code einzudämmen und die Testbedingungen über alle Läufe hinweg identisch zu halten, und das bei einem Wechsel vom Laptop zu vielen parallelen Workern mit denselben Aufgabendefinitionen. Weitere Details finden sich in der Dokumentation zu Docker Sandboxes und Harbor.