NVIDIA stellt Open-Source-Tools für den Betrieb von Kubernetes-GPU-Clustern vor

Ein Lebenszyklusansatz für die Verwaltung von GPU-Clustern

NVIDIA DSX OS ist Teil der NVIDIA DSX AI Factory Platform, die Technologien für die Entwicklung, den Aufbau und den Betrieb von KI-Fabriken bündelt. Die Softwareebene adressiert ein Problem, das auftreten kann, nachdem ein Cluster seine ersten Bereitschaftstests bestanden hat: Knoten können ersetzt, Treiber aktualisiert und Kapazitäten erweitert werden, wodurch sich der Zustand des Clusters im Laufe der Zeit verändert.

NVIDIA zufolge kann eine unterdurchschnittlich leistungsfähige GPU einen gesamten verteilten Trainingsjob verlangsamen, selbst wenn grundlegende Zustandsprüfungen und Auslastungsmetriken normal erscheinen. Das Unternehmen verweist auf Goodput, also das Volumen erfolgreich abgeschlossener Arbeit, als aussagekräftigeres Maß für die Clustereffizienz als die Auslastung allein.

DSX OS basiert auf drei Open-Source-Projekten, die allesamt unter der Apache-2.0-Lizenz stehen und Beiträge externer Entwickler zulassen: NVIDIA AI Cluster Runtime, NVIDIA Cluster Readiness Engine und NVSentinel.

AICR schafft eine reproduzierbare Softwarebasis

NVIDIA AI Cluster Runtime, kurz AICR, definiert versionsgebundene Konfigurationsrezepte für GPU-optimierte Kubernetes-Infrastrukturen. Die Rezepte können Komponenten wie Netzwerk, Speicher und Treiber abdecken, während Abhängigkeitsdiagramme festlegen, welche Komponenten zuerst installiert und in einem fehlerfreien Zustand sein müssen.

AICR rendert diese Rezepte als Bereitstellungsartefakte für bestehende Tools, darunter Argo CD, Flux, Helm, Argo CD mit Helm und Helmfile. Betreiber können dadurch ihre aktuellen Bereitstellungswerkzeuge weiter nutzen und AICR zur Erstellung von Konfigurationspaketen einsetzen. Die Rezeptdateien lassen sich außerdem über Versionshistorie, Code-Reviews und die Erkennung von Abweichungen verwalten.

Die Quelle beschreibt Zustandszusicherungen für einzelne Komponenten als weiteren Bestandteil der Basis. Diese Prüfungen können Zustände erkennen, die eine Überprüfung der Pod-Phase möglicherweise übersieht, etwa einen Container, der mit einem Wartehinweis im Zusammenhang mit CrashLoopBackOff feststeckt.

NVCRE prüft die Produktionsbereitschaft

NVIDIA Cluster Readiness Engine, kurz NVCRE, soll ermitteln, ob ein Cluster Produktionsarbeitslasten ausführen kann, statt lediglich zu bestätigen, dass grundlegende Dienste laufen. Die Lösung testet GPUs, Netzwerk und Speicher mithilfe von KI-Arbeitslasten, Diagnosen und Tests der NVIDIA Collective Communication Library, kurz NCCL.

Der Validierungsprozess kann Trainingsjobs und Diagnosetests über Gruppen mit mehreren Knoten hinweg ausführen. Wenn eine Gruppe fehlschlägt, kann NVCRE sie per Bisektion untersuchen, um verdächtige Knoten zu identifizieren. Anschließend werden bestandene oder nicht bestandene Tests, die IDs der fehlerhaften Knoten und die Fehlerursachen in einer Certification-Ressource erfasst.

NVSentinel verwaltet Validierungsanfragen, Planungssperren, Quarantäne und Reparatur, während NVCRE die Tests ausführt und deren Ergebnisse erfasst. Knoten können während der Validierung gesperrt oder mit einem Taint versehen werden, damit keine Arbeitslasten auf ihnen eingeplant werden. Das Validierungsergebnis entscheidet darüber, ob diese Planungssperre aufgehoben werden kann.

NVSentinel überwacht den Zustand und unterstützt erneute Validierungen

NVSentinel überwacht kontinuierlich Zustandsdaten von GPUs, Knoten und Netzwerken und veröffentlicht Knotenbedingungen. Bei entsprechender Konfiguration kann die Lösung fehlerhafte Knoten sperren oder mit einem Taint versehen, Arbeitslasten abziehen und Fehler beheben. Außerdem kann sie vor der Rückkehr reparierter Knoten in den Betrieb eine erneute Validierung durch NVCRE auslösen.

Der von NVIDIA veröffentlichte Leitfaden begleitet einen Cluster von der Konfiguration über die Zertifizierung und den Betrieb bis zur erneuten Zertifizierung nach einer Reparatur. Die Erkennung von Abweichungen durch AICR kann nach Änderungen an der Infrastruktur, einschließlich Treiberaktualisierungen, ebenfalls Zertifizierungsläufe auslösen. Für Betreiber von Kubernetes-GPU-Clustern bieten die Tools eine Open-Source-Möglichkeit, konsistente Bereitstellungen mit einer Validierung auf Arbeitslastniveau und einem fortlaufenden Zustandsmanagement der Knoten zu verbinden.