NVIDIA spendet Agent Substrate an die CNCF Sandbox

Ein anderer Ansatz für den Betrieb von Agenten

NVIDIA zufolge verbringen KI-Agenten einen großen Teil ihrer Zeit damit, auf eine Eingabe des Menschen, ein Tool-Ergebnis oder eine Modellantwort zu warten. Wenn für jede Sitzung ein Kubernetes-Pod aktiv bleibt, kann Rechenleistung ungenutzt bleiben. Werden Pods zwischen einzelnen Durchläufen erstellt, entstehen dagegen Kaltstarts und der Zustand des Agenten geht verloren.

Agent Substrate erstellt einen Pool bereiter Kubernetes-Worker-Pods und nutzt eine separate Kontrollebene, um viele Agenten und ihre Umgebungen diesem Pool zuzuordnen. Wenn ein Actor in den Leerlauf wechselt, wird seine Sandbox einschließlich Speicher- und Dateisystemzustand als Snapshot gespeichert und der Worker freigegeben. Wird der Actor wieder benötigt, wird er auf einem beliebigen verfügbaren Worker wiederhergestellt, ohne erneut den Kubernetes-API-Server, den Scheduler oder den Kubelet zu durchlaufen.

NVIDIA beschreibt die Laufzeitumgebung als sicherheitsgehärtet und auf Zero Trust ausgelegt. Sie unterstützt Sandbox-Umgebungen auf Basis von gVisor oder MicroVMs. Die Worker-Pods bleiben dabei gewöhnliche Kubernetes-Pods und unterliegen der Clusterplanung, Quoten und Platzierungsrichtlinien.

Drei Arten von Workloads

Das Projekt richtet sich an Programmierassistenten, das Post-Training mittels bestärkendem Lernen und kurzlebige GPU-Forschungs-Sandboxes.

Programmierassistenten wechseln zwischen Modellaufrufen und Aktionen wie dem Klonen von Repositories, dem Bearbeiten von Dateien, dem Ausführen von Builds und dem Starten von Tests. Ihre Umgebungen müssen zwischen den einzelnen Durchläufen erhalten bleiben. Ein Dienst, der Tausende Sitzungen bedient, kann sich jedoch nicht für jeden Nutzer eine dedizierte warme Sandbox leisten.

Beim Post-Training mittels bestärkendem Lernen arbeiten GPU-Trainer und Generierungsserver mit CPU-intensiven Umgebungen wie Code-Sandboxes, Compilern, Browsern und Simulatoren zusammen. NVIDIA zufolge kann die Nachfrage schubweise auftreten. Ein langsamer Start der Umgebungen kann dazu führen, dass GPUs ungenutzt bleiben, während die Trainer auf den nächsten Batch warten.

Forscher können GPU-Sandboxes außerdem zum Kompilieren von CUDA-Code, zum Benchmarking von Kernels oder für numerische Berechnungen einsetzen. Diese Sandboxes müssen schnell starten und einen begrenzten GPU-Pool innerhalb einer Organisation gemeinsam nutzen.

Integration in NVIDIAs KI-Infrastruktur

Agent Substrate arbeitet mit NVIDIA Dynamo und KAI Scheduler auf der NVIDIA DSX AI Factory Platform zusammen. Dynamo koordiniert die Inferenz über GPU-Worker hinweg, während Agent Substrate die Agentenumgebungen verwaltet.

Der Router von Dynamo nutzt die Sitzungsidentität, den Speicherort des Key-Value-Caches und die Grenzen von Tool-Aufrufen, um zusammengehörige Modellaufrufe auf Workern zu halten, die den wiederverwendbaren Kontext bereits vorhalten. Zudem stellt er Signale wie die voraussichtliche Zeit bis zum ersten Token und die Auslastung des GPU-Pools bereit. Agent Substrate nutzt diese Signale, um zu entscheiden, ob ein Actor resident bleiben, während einer langen Inferenzwartezeit ausgesetzt werden oder kurz vor Abschluss einer Antwort fortgesetzt werden soll.

KAI Scheduler platziert Substrate-Worker-Pods neben GPU-Trainern und Inferenzservern. NVIDIA zufolge ist Agent Substrate ein unabhängiges CNCF-Sandbox-Projekt, das sich in die Komponenten von DSX OS integrieren lässt.

Arbeiten am Upstream und Bedeutung für Nutzer

Zu den jüngsten und laufenden Arbeiten gehört das Parken von Anfragen. Dabei wird eine Anfrage in die Warteschlange gestellt, wenn alle Worker ausgelastet sind, statt sofort einen Fehler zurückzugeben. Das Projekt entwickelt außerdem Geräteunterstützung über Kubernetes Dynamic Resource Allocation. Als erstes unterstütztes Gerät sind NVIDIA-GPUs vorgesehen. Weitere Arbeiten ergänzen CPU- und Speicherlimits pro Container für MicroVM-Sandboxes. Dadurch kann ein Container, der zu viele Ressourcen verbraucht, beendet werden, während der Rest der Sandbox weiterläuft.

Für Nutzer und Plattformteams bietet das Projekt eine Möglichkeit, Agentenumgebungen zu erhalten und gleichzeitig einen kleineren Pool von Rechen-Workern gemeinsam zu nutzen. Der Status als CNCF Sandbox ordnet die Entwicklung der Laufzeitumgebung zudem in ein offenes Kubernetes-Ökosystem ein. Die Integration mit Dynamo und KAI Scheduler verknüpft die Agentenausführung mit Inferenz und Clusterplanung.