NVIDIA ergänzt seine GPU-Plattform-Tools um Laufzeitinventar für KI
NVIDIA AI Cluster Runtime enthält jetzt eine qualifizierte Komponente für eine KI-Stückliste (AI Bill of Materials), mit der sich unterstützte KI-Workloads auf Kubernetes erfassen lassen. Die Integration verbindet die reproduzierbare Bereitstellung von GPU-Plattformen mit Einblicken in die Modelle, Laufzeitumgebungen und anderen KI-Assets, die tatsächlich in einem Cluster ausgeführt werden.
- AICR enthält jetzt eine qualifizierte k8s-aibom-Komponente.
- Die Komponente erzeugt CycloneDX-1.6-AIBOM-Einträge für erkannte KI-Workloads.
- Die Rezepte h100-gke-cos-inference wählen das Laufzeitinventar standardmäßig aus.
- AICR v1.2.0 legt in den dokumentierten Beispielen k8s-aibom 1.6.2 fest.
- Über die Aktivierung auf Namespace-Ebene wird gesteuert, in welchen Namespaces AIBOM-Einträge erzeugt werden.
AICR und k8s-aibom decken unterschiedliche Ebenen ab
NVIDIA AI Cluster Runtime, kurz AICR, ist eine quelloffene, modulare Komponente der NVIDIA DSX AI Factory Platform. Sie erstellt versionsgebundene Rezepte und reproduzierbare Bereitstellungspakete für GPU-beschleunigtes Kubernetes. Die Rezepte beschreiben eine Kombination aus Hardware, Cloud, Betriebssystem und Einsatzzweck, einschließlich Komponentenversionen, Konfigurationswerten, Einschränkungen, Bereitstellungsreihenfolge und erwarteten Validierungsergebnissen.
Die neu qualifizierte AIBOM-Komponente basiert auf k8s-aibom, einem von Google entwickelten Open-Source-Projekt. Es überwacht die Kubernetes-APIs für Workloads und Pods und erzeugt CycloneDX-1.6-AIBOM-Einträge für erkannte KI-Workloads. AICR validiert die Infrastrukturkonfiguration, während k8s-aibom erfasst, was tatsächlich auf dieser Infrastruktur läuft.
NVIDIA zufolge schließt diese Unterscheidung eine Lücke zwischen Plattformkonfiguration und Anwendungs-Workloads. Teams können Workloads unabhängig von einem Plattformrezept aktualisieren. Außerdem können veränderliche Image-Tags wie :latest dazu führen, dass unter identischen Tags unterschiedlicher Code ausgeführt wird.
Unterstützte Rezepte und Workload-Inventar
Zwei Standardrezepte wählen k8s-aibom standardmäßig aus: h100-gke-cos-inference und h100-gke-cos-inference-dynamo. Andere Google-Kubernetes-Engine-Rezepte können die Komponente bei der Generierung mit dem Flag --runtime-inventory aktivieren oder sie mit --runtime-inventory disabled deaktivieren.
Die Abdeckung ist auf unterstützte Workload-Typen mit einem erkannten KI-Signal beschränkt. Dazu gehören native Dynamo-Graphs, NIMService, LeaderWorkerSet, DisaggregatedSet und CronJob-Ressourcen. Erfasste untergeordnete Workloads werden in die AIBOM ihres Besitzers aufgenommen.
Laut NVIDIA kann das Inventar Teams dabei helfen, nicht registrierte oder unbemerkte KI-Workloads in ausgewählten Namespaces zu finden, Modelle und Inferenz-Laufzeitumgebungen zu identifizieren, externe KI-APIs und Vektordatenbanken zu erfassen, Änderungen an KI-Abhängigkeiten zu erkennen sowie Sicherheitsprüfungen, die Reaktion auf Sicherheitsvorfälle und Compliance-Audits zu unterstützen.
Validierte Bereitstellung auf GKE
Die Beispiele in der Ankündigung verwenden AICR v1.2.0, das k8s-aibom 1.6.2 festschreibt. NVIDIA beschreibt einen Ablauf, der ein Rezept generiert, es in ein Bereitstellungspaket überführt, dieses installiert und den resultierenden Cluster validiert. Das Paket enthält anhand des Abhängigkeitsgraphen geordnete Komponentenverzeichnisse sowie Werte, Prüfsummen und Installationsskripte. AICR unterstützt Helmfile, Flux und Argo CD über seine Deployer-Option.
Das dokumentierte Beispiel beginnt mit einem Google-Kubernetes-Engine-Cluster, auf dem Kubernetes 1.32 oder höher, NVIDIA-H100-GPU-Knoten, Container-Optimized OS sowie von GKE verwaltete Treiber und Geräte-Plugins laufen. Die Qualifizierung bindet die Upstream-Quelle, das Chart, die CRDs und das per Digest festgelegte Controller-Image zu einem getesteten Paket zusammen. NVIDIA zufolge überprüft das Unternehmen außerdem die Herkunft anhand der erwarteten Build-Identität von Google, prüft die gerenderte RBAC-Konfiguration und die Sicherheitsstandards und testet Installation, Upgrade, Zustand und Deinstallation auf den untersuchten Bereitstellungspfaden.
Das Laufzeitinventar wird auf Namespace-Ebene aktiviert. Ein Namespace-Label legt fest, in welchen Namespaces AIBOM-Einträge erzeugt werden. Der Controller speichert Informationen zu Workloads und Pods weiterhin über seine Informer zwischen.
Was die Integration für KI-Plattformteams bedeutet
Die Kombination liefert Plattformteams zwei miteinander verbundene Formen von Nachweisen: AICR erfasst die qualifizierte Bereitstellungsabsicht und bewertet sie anhand eines Clusters, während k8s-aibom unterstützte Workloads beobachtet und die gefundenen Assets einschließlich Vertrauensangaben zu ihren Attributen dokumentiert. NVIDIA zufolge reicht keine der beiden Perspektiven allein für die Governance von KI aus.
Für Nutzer, die KI-Workloads auf Kubernetes betreiben, soll die Integration die Beziehung zwischen einer validierten GPU-Basis und den darauf laufenden Anwendungen sichtbarer machen. Teams können AICR verwenden, um die Plattformkonfiguration zu reproduzieren und zu prüfen, und anschließend das Laufzeitinventar nutzen, um unterstützte KI-Workloads in aktivierten Namespaces zu verfolgen.
NVIDIA Developer: Validating GPU Platforms with Runtime AI Inventory via the NVIDIA DSX AI Factory
