NVIDIA gibt OpenShell und KI-Infrastruktur-Tools als Open Source frei
NVIDIA übergibt seine Laufzeitumgebung OpenShell zur Absicherung autonomer Agenten an die Cloud Native Computing Foundation. Parallel arbeitet das Unternehmen an Agent Substrate und neuen Tools für KI-Infrastruktur auf Kubernetes. Nach Angaben von NVIDIA sollen die Beiträge Unternehmen dabei helfen, Agenten zu verwalten und KI-Workloads im großen Maßstab zu betreiben.
- NVIDIA übergibt OpenShell an die CNCF Sandbox.
- Das Unternehmen beteiligt sich an dem von Google initiierten Agent Substrate.
- NVIDIA Kubernetes Engine und NVIDIA Kubernetes Recipes sind als öffentliche Vorschau verfügbar.
- NVIDIA Snapshot stellt gesicherte Replikate ohne erneutes Laden oder Aufwärmen des Modells wieder her.
- Nach Angaben von NVIDIA richten sich die Tools an KI-Infrastruktur und Agenten-Workloads auf Kubernetes.
OpenShell kommt unter die Verwaltung der CNCF
NVIDIA hat die Beiträge auf der KubeCon + CloudNativeCon angekündigt, der wichtigsten Konferenz der Kubernetes- und Cloud-Native-Community. OpenShell wird ein CNCF-Sandbox-Projekt. Damit unterliegt die Entwicklung der Verwaltung von Organisationen, die das Projekt in ihre Produkte integrieren, und kann auf das Sicherheits-Know-how der breiteren Community zurückgreifen.
OpenShell ist eine Open-Source-Laufzeitumgebung zur Absicherung und Verwaltung autonomer Agenten. Sie wendet deterministische Kontrollen auf die Aktivitäten von Agenten an. Teams können damit Richtlinien durchsetzen, während Agenten Tools nutzen, auf Inferenzdienste zugreifen und Workloads ausführen. Die Architektur lässt sich mit der Recheninfrastruktur, Inferenzanbietern, der Anmeldeinformationsverwaltung und Monitoring-Tools eines Unternehmens verbinden.
Nach Angaben von NVIDIA haben Hunderte Organisationen OpenShell eingesetzt. Seit dem Start vor weniger als einem Jahr hat das Projekt zudem zehntausende Beiträge erhalten. Jim Zemlin, CEO der Linux Foundation, erklärte, der Beitrag gebe Entwicklern „eine gemeinsame Grundlage, auf der sie aufbauen können, und die Möglichkeit, mitzugestalten, wie sich die Sicherheit von Agenten weiterentwickelt“.
Agent Substrate zielt auf Agenten-Workloads im großen Maßstab
NVIDIA beteiligt sich außerdem an Agent Substrate, einem von Google initiierten Open-Source-Framework für den Betrieb langfristig laufender Agenten-Workloads auf Kubernetes im großen Maßstab. Das Projekt wurde in die CNCF Sandbox aufgenommen.
Nach Angaben von NVIDIA wird Agent Substrate mit NVIDIA Dynamo für die Modellinferenz und dem KAI Scheduler für die gemeinsame Zuweisung von Cluster-Ressourcen zusammenarbeiten. Die Kombination führt Agentenausführung, Inferenzbereitstellung und Ressourcenplanung auf Kubernetes zusammen.
Agent Substrate hält die Umgebungen von Agenten zwischen Aufgaben aufrecht und gibt Rechenkapazität frei, wenn Agenten untätig sind. Durch das Anhalten und Fortsetzen von Umgebungen in einem gemeinsamen Pool von Agenten lassen sich Workloads skalieren, ohne für jede Sitzung dedizierte Rechenkapazität bereithalten zu müssen. NVIDIA und Google arbeiten außerdem daran, OpenShell in Agent Substrate zu integrieren, um die Sicherheit und Verwaltung von Agenten über Cloud- und On-Premises-Systeme hinweg zu ermöglichen.
Neue Tools erweitern NVIDIAs KI-Fabrik-Plattform
NVIDIA hat drei Open-Source-Komponenten für seine DSX AI Factory Platform angekündigt: NVIDIA Kubernetes Engine, NVIDIA Kubernetes Recipes und NVIDIA Snapshot. NVIDIA Kubernetes Engine und NVIDIA Kubernetes Recipes sind als öffentliche Vorschau verfügbar und liefern Bausteine für verwaltete Kubernetes-Dienste auf GPU-Infrastruktur.
Die Tools automatisieren die Verwaltung des Cluster-Lebenszyklus und stellen signierte Images mit festgelegten Versionen bereit. Nach Angaben von NVIDIA haben sich Mirantis, Netris, OpenNebula Systems, Rafay, Spectro Cloud und vCluster gemeinsam mit Firmus und SK Telecom mit dem Unternehmen auf Integrationspläne verständigt.
NVIDIA Snapshot soll zusätzliche Inferenzkapazität schnell verfügbar machen. Die modulare Komponente stellt gesicherte Replikate innerhalb von Sekunden wieder her, ohne das Modell neu zu laden oder aufzuwärmen. Sie unterstützt damit Start, Wiederherstellung und Elastizität für Inferenz- und agentenbasierte Workloads auf Kubernetes.
Crusoe testete GLM-5.3 auf der Crusoe Cloud und verkürzte die Zeit bis zur Einsatzbereitschaft nach Angaben von NVIDIA von ungefähr acht Minuten auf 31 Sekunden. Saturn Cloud reduzierte in seinem Benchmark für Inferenz mit Skalierung von null die Startzeiten von vLLM von zwei bis 8.5 Minuten auf sechs beziehungsweise 34 Sekunden.
