NVIDIA AI Cluster Runtime soll Kubernetes-Support für Vera Rubin NVL72 ab Tag eins liefern

Was AICR leistet

Die Konfiguration von Kubernetes für neue GPU-Hardware sei komplex und fehleranfällig, sagt NVIDIA. Treiber, Kernel, Runtimes, Netzwerk, Operatoren und Scheduler müssen zusammenspielen, und schon kleine Abweichungen können Workloads am Laufen hindern oder die Leistung begrenzen.

AICR ist Teil der NVIDIA DSX AI Factory Platform. Laut NVIDIA hält es abgestimmte Konfigurationen in wiederverwendbaren Rezepten fest, erzeugt Bundles für bestehende Deployment-Werkzeuge und validiert den laufenden Cluster. Das Unternehmen betont, dass bei Vera Rubin noch die Anfangsphase laufe. Der Beitrag behandelt, was auf früher Hardware mit dem NVIDIA GPU Operator und dem Dynamic-Resource-Allocation-Treiber (DRA) mit Vera-Rubin-Unterstützung validiert wurde.

Was sich für Betreiber von GB200 NVL72 ändert

NVIDIA beschreibt Vera Rubin NVL72 als Weiterentwicklung derselben rackskaligen NVIDIA-MGX-Architektur wie bei GB200 NVL72, nun in dritter Generation. Mehrere für Anwender sichtbare Bausteine ändern sich:

• GPU-Treiber: Vera Rubin NVL72 benötigt einen neuen Treiberzweig. Validiert wurde er mit dem auf dem Host installierten Open-GPU-Treiber R615.23. Frühe Unterstützung ist für R610 vorgesehen, die offizielle Plattformunterstützung für R620. Die GB200-Basis von AICR ist R580.173.02, und NVIDIA zufolge ist R615.23 die getestete Version, nicht eine bestätigte Mindestversion.
• Netzwerk: ConnectX-7-NICs und BlueField-3-DPUs weichen ConnectX-9-SuperNICs und BlueField-4-DPUs. DOCA 3.3.0 ist das erste GA-Release mit ConnectX-9-Unterstützung.
• Gerätetopologie: Beide Referenz-Trays haben zwei CPUs und vier GPUs, doch die Trays von Vera Rubin NVL72 stellen acht ConnectX-9-PCI-Gerätegruppen mit 32 Funktionen bereit, gegenüber vier ConnectX-7-Adaptern im Compute-Tray des DGX GB200 NVL72. Bei I/O-intensiven Workloads wie RDMA und GPUDirect Storage sollten GPU-NIC-Affinität und NUMA-Platzierung geprüft werden.
• IMEX: Bei DRA-verwaltetem IMEX sollte der statische nvidia-imex-Dienst des Hosts gestoppt, deaktiviert und maskiert werden. DRA v0.5.0 bringt eine alpha-Option mit Host-Verwaltung und ausschließlich Domänenisolierung, während der getestete Cluster den Modus driverManaged nutzt.
• MIG: Rubin-GPUs führen neue MIG-Profile ein, doch die AICR-Rezepte nutzen die Zuweisung ganzer GPUs, und MIG auf Vera Rubin ist von dieser Validierung nicht abgedeckt.

Validierungsergebnisse und Probleme mit früher Silizium-Hardware

NVIDIA hat das AICR-Runtime-Bundle auf Vera-Rubin-Clustern mit dem offiziellen Release GPU Operator v26.7.0 und dem DRA-Treiber v0.5.0 sowie einem auf dem Host installierten R615-Treiber bereitgestellt. Sowohl die Trainings- als auch die Inferenzvariante der Rezepte bestehen nun die Ende-zu-Ende-Validierung für Deployment und Konformität. Für das Training ist das Leistungs-Gate ein knotenübergreifendes NCCL-All-Reduce über das NVLink-Fabric, ausgeführt über eine IMEX-ComputeDomain. Es erreichte bei 16 GiB eine Bus-Bandbreite von 744,71 GB/s.

Reibungslos verlief der Prozess nicht. Die ersten Validierungsrunden wurden vorübergehend durch ein Hardware- oder Fabric-Problem in einem frühen Cluster blockiert, das laut NVIDIA nichts mit dem GPU Operator oder dem DRA-Treiber zu tun hatte und einen Compute-Tray vom NVLink-Fabric fernhielt. Nach dem erneuten Einsetzen der Hardware traten alle GPUs beider Knoten einer einzigen sauberen Fabric-Clique bei. Zudem berichtet NVIDIA, die AICR-Validierung auf früher Silizium-Hardware habe in go-nvlib einen nicht zugeordneten Wert der Rubin-Architektur aufgedeckt, der das Kubelet-Plugin des DRA-Treibers in eine Crash-Schleife versetzte. Der Fix wanderte durch den Stack und ist im offiziellen Release des DRA-Treibers v0.5.0 enthalten.

Die Rezeptfamilie für Vera Rubin

Die Rezeptfamilie zielt auf den Service rke2 und den Beschleuniger Vera Rubin NVL72 (vr200) unter Ubuntu, mit Varianten für Training, Inferenz und NVIDIA-Dynamo-Inferenz. Sie erscheint als Preview. NVIDIA beschreibt dies als Pfad für frühe Anwender, der solange die Plattform noch nicht freigegeben ist die Produktionsunterstützung und Lifecycle-Qualifizierung eines Supported-Rezepts noch nicht bietet.

• Der GPU Operator läuft mit driver.enabled: false, weil das Vera-Rubin-Systemabbild den arm64-Open-Kernel-Module-Treiber vorinstalliert hat. Das Container Toolkit bleibt vom Operator verwaltet.
• IMEX-gestützte ComputeDomains werden über den DRA-Treiber aktiviert, während die Zuweisung ganzer GPUs beim Device Plugin bleibt.
• Erforderlich ist Kubernetes 1.34.1 oder neuer: 1.34 für die GA-DRA-API resource.k8s.io/v1, und der Patch .1, weil der RKE2-CDI/NRI-Toolkit-Pfad containerd 2.1 benötigt.
• Vorgegeben sind Ubuntu 26.04 mit dem für Vera optimierten arm64-Kernel mit 64k-Seiten.
• Das Standardlimit von 60Mi Arbeitsspeicher für den NFD Topology Updater wird erhöht, da er auf NVL72-Workern mit mehreren Terabyte per OOM beendet wird.

Was das für Plattformteams bedeutet

Für Teams, die heute GB200 NVL72 betreiben, liefert der Beitrag eine Checkliste mit Unterschieden bei Treiber, Netzwerk, Topologie, IMEX und MIG, die sie vor kommenden Releases einplanen sollten. NVIDIA empfiehlt, das Vera-Rubin-Trainingsrezept von NVIDIA/aicr mit einem einzigen Befehl zu erzeugen, für die Inferenzvariante das Dynamo-Plattform-Flag zu verwenden und die signierten Validierungsnachweise für das Trainingsrezept zu prüfen. Da die Rezepte als Preview gelten und die Plattform noch nicht freigegeben ist, spiegeln die Ergebnisse frühe Hardware wider und keine Produktionsqualifizierung.