NVIDIA AICR v1.0 legt die Konfiguration von GPU-Kubernetes-Clustern fest

Das Problem: viele Komponenten, viele Release-Zyklen

GPU-beschleunigte Kubernetes-Cluster sind auf kompatible Versionen von Host-Kernels, GPU-Treibern, Container-Runtimes, Kubernetes, Netzwerk, Storage, Device-Plugins, Operatoren, Schedulern und Workload-Frameworks angewiesen. Diese Komponenten folgen nach Angaben von NVIDIA unterschiedlichen Release-Zyklen, und das Upgrade einer einzelnen kann eine zuvor funktionierende Kombination zerstören.

Eine Konfiguration, die für einen Dienst, eine GPU-Generation, einen Fabric-Typ, eine Maschinenausprägung und eine Kubernetes-Version validiert wurde, kann bei einer anderen scheitern. Kleine Versionsunterschiede lassen sich nach dem Deployment nur schwer nachvollziehen. NVIDIA weist außerdem darauf hin, dass eine erfolgreiche Installation weder belegt, dass die Komponenten fehlerfrei laufen, noch dass Funktionen wie Gang Scheduling oder die Erkennung von Beschleunigern funktionieren, noch dass gemessene Ergebnisse die Leistungsschwellen eines Rezepts erfüllen.

Dem Unternehmen zufolge war das Wissen darüber, welche Kombinationen funktionieren, bislang auf getrennte Validierungssysteme, Deployment-Skripte und Betriebshandbücher verteilt. Dadurch sei es schwierig, funktionierende Konfigurationen zu finden, zu reproduzieren und zu aktualisieren.

Vier unabhängige Funktionen

AICR bietet vier Kernfunktionen, die NVIDIA als bewusst voneinander unabhängig beschreibt:

• Snapshot erfasst den beobachteten Clusterzustand, darunter Informationen zu Kubernetes, Betriebssystem, Kernel, GPU und Topologie.
• Recipe beschreibt die gewünschte, versionsfixierte Komponentenkonfiguration samt den dafür geltenden Randbedingungen und Validierungsphasen.
• Bundle rendert das Rezept zu Artefakten für Helm, Argo CD, Flux oder Helmfile.
• Validation vergleicht das Rezept mit dem beobachteten Zustand und führt, sofern deklariert, Deployment-, Konformitäts- und Performance-Prüfungen im Cluster aus.

Ein Snapshot ist keine Soll-Konfiguration, und ein Rezept gleicht keinen Cluster ab. Bestehende Open-Source-CD-Werkzeuge wenden das Bundle an, anschließend kann AICR den laufenden Cluster validieren und signierte Nachweise des Ergebnisses festhalten.

NVIDIA nennt einen Beispiel-Workflow: Ein Operator wählt EKS, GB300, Ubuntu, Training und Kubeflow, löst diese Kriterien zu einem fixierten Rezept auf, rendert es für Argo CD, rollt es über einen bestehenden GitOps-Workflow aus und validiert den Cluster gegen dasselbe Rezept. Laut NVIDIA ändert sich die beabsichtigte Konfiguration nicht, wenn der Operator sie stattdessen für Helm, Flux oder Helmfile rendert.

Was v1.0 ändert

Das Release v1.0 definiert Kompatibilitätsregeln für die öffentlichen Befehle, Flags, Exit-Semantik und strukturierte Ausgabe der aicr-CLI, für die aicrd-REST-API und den OpenAPI-Vertrag, für die exportierte API des Pakets github.com/NVIDIA/aicr/pkg/client/v1 sowie für das generierte Bundle-Layout und die AICR-Artefakt-Schemata.

Für jede öffentliche Schnittstelle gibt es eine festgeschriebene Baseline, die vor dem Merge von Änderungen geprüft wird. Nach v1.0 erfordert das Entfernen oder inkompatible Ändern einer stabilen öffentlichen Schnittstelle ein neues Major-Release. Für Go-Integratoren stellt pkg/client/v1 den unterstützten Workflow bereit, ohne dass Importe aus den internen Paketen von AICR nötig sind; CLI und REST-Server nutzen dieselbe Fassade.

Operatoren können zudem die Validierungsnachweise einsehen, die für jedes Supported-Rezept veröffentlicht werden: was getestet wurde, welche Prüfungen bestanden wurden und wer die Ergebnisse signiert hat. Über ein Live-Validierungs-Dashboard lassen sich Rezepte nach Dienst, GPU, Betriebssystem, Workload-Zweck und optionaler Plattform finden.

Ökosystem und Community

NVIDIA zufolge macht Pulumi Labs AICR über einen Infrastructure-as-Code-Provider verfügbar, während die k0rdent-Integration von Mirantis es für das Multi-Cluster-Management paketiert. Das Unternehmen sieht beides als Beispiele dafür, die GPU-Kubernetes-Konfiguration einmal zu definieren und über unterschiedliche Werkzeuge zu nutzen.

In den vergangenen sechs Monaten ist AICR nach Angaben von NVIDIA von einer Handvoll Rezepte zu einer Bibliothek gewachsen, die die wichtigsten Kubernetes-Dienste und das aktuelle Portfolio an NVIDIA-Beschleunigern abdeckt. Das Projekt hat inzwischen mehr als 100 verschiedene Beitragende, fast die Hälfte davon von außerhalb von NVIDIA.

Was das für Operatoren und Integratoren bedeutet

Für Operatoren bietet das Release die Möglichkeit, mit einer validierten, fixierten Konfiguration zu starten und einen laufenden Cluster dagegen zu prüfen, statt Versionskonflikte erst nach dem Deployment aufzuspüren. Für Integratoren soll die Kompatibilitätsrichtlinie von v1.x die öffentlichen Schnittstellen zu einer verlässlichen Grundlage machen.

NVIDIA lädt zu Beiträgen für Hardware- und Cluster-Kombinationen außerhalb der aktuellen Abdeckung ein. Nutzer können Rezepte vorschlagen, sie auf eigenen Clustern validieren und signierte Nachweise zur Prüfung durch die Maintainer einreichen. Operatoren können außerdem den Befehl aicr evidence verify aus dem Dashboard ausführen, sofern Nachweise vorliegen. Anlaufstellen sind das Projekt-Repository, der Contributing-Leitfaden und der Issue-Tracker.