NVIDIA öffnet NVKE und NVKR für GPU-basierte Kubernetes-Dienste

NVKE verwaltet Cluster, NVKR erstellt die Software

NVIDIA Kubernetes Engine, kurz NVKE, stellt die Software für den Betrieb eines verwalteten Kubernetes-Dienstes auf der Infrastruktur einer AI Factory bereit. Das Projekt bietet APIs zur Bereitstellung und Verwaltung von Clustern. Kunden können dadurch GPU-Kapazitäten über Kubernetes-APIs, Tools und Ökosystemkomponenten nutzen, mit denen sie bereits arbeiten.

NVIDIA Kubernetes Recipes, kurz NVKR, kümmert sich um reproduzierbare Software-Builds. Das Projekt erstellt aus bestimmten Quellversionen Node-Images, Binärdateien, Container-Images und Helm-Charts und hält dabei die für jeden Build verwendeten Eingaben fest. Die Rezepte definieren validierte Kombinationen aus Softwareversionen und GPU-Generationen.

Die Projekte können gemeinsam oder unabhängig voneinander eingesetzt werden. NVKE hat keine Laufzeitabhängigkeit von NVKR, während NVKR Artefakte für andere Kubernetes-Managementsysteme erstellen kann. NVIDIA zufolge ermöglicht diese Aufteilung AI Factories, die Kontrolle über ihre Software, ihren Betrieb, ihre Dienste und das Kundenerlebnis zu behalten.

Ein Management-Cluster stellt Kunden-Workloads bereit

Die NVKE-Managementebene umfasst eine REST-API und Controller, die auf einem Management-Cluster laufen. Das Kommandozeilen-Tool nvkectl startet auf einem Bootstrap-Host einen temporären Seed-Cluster und verwendet ihn anschließend zum Aufbau des Management-Clusters. Nach Abschluss dieses Vorgangs wird der temporäre Cluster gelöscht.

Die Managementebene erstellt Workload-Cluster für Kunden von AI Factories. Jeder Workload-Cluster verfügt über eine eigene Kubernetes-Steuerebene, ein eigenes etcd sowie eigene Node-Pools. Die Maschinen werden über NVIDIA Infra Controller, kurz NICo, bereitgestellt. NICo verwaltet den Lebenszyklus von Bare-Metal-Systemen über CAPNICo, seinen Cluster-API-Infrastrukturanbieter für NICo.

NVKE umfasst außerdem ein auf OpenTelemetry basierendes Helm-Chart zum Erfassen von Logs, Metriken und Traces und deren Export über OTLP an ein Monitoring-Backend. NVIDIA zufolge muss ein Node zunächst eine attestierte SPIFFE-Identität vorweisen, bevor er Zugangsdaten zum Beitritt erhält.

Release-Sets ermöglichen die Auswahl validierter Konfigurationen

AI Factories veröffentlichen Release-Sets, die Kunden anhand ihres Namens auswählen. Diese Sets enthalten Maschinen-Images, Cluster-Releases und Node-Pool-Releases. Kunden können dadurch eine validierte Kubernetes-Version auswählen, ohne Betriebssystem-Images oder Cloud-Init direkt verwalten zu müssen.

In NVIDIAs Anleitung erstellt NVKR ein Node-Image aus quellen, deren Versionen festgelegt sind. Der Build kompiliert den NVKE-Node-Agent und OVN-Kubernetes aus dem Quellcode, fügt Kubernetes-1.36-Pakete mit per Prüfsumme festgelegten Versionen sowie den SPIRE-Agent hinzu und erzeugt ein QCOW2-Disk-Image. Der Management-Cluster und jeder Node-Pool können unterschiedliche Images verwenden, darunter Images für verschiedene CPU-Architekturen oder GPU-Generationen.

In Workload-Clustern können Teams mit AI Cluster Runtime eine GPU-beschleunigte Laufzeitumgebung, mit NodeWright Node-Pakete und mit NVSentinel Automatisierung für die Fehlerbehebung hinzufügen. NVKE ist eine Certified Kubernetes AI Platform und ein Certified Kubernetes Installer. NVIDIA zufolge wurde die Lösung auf Kubernetes 1.36 auf Konformität getestet.

Public Preview schränkt den Produktionseinsatz vorerst ein

NVKE und NVKR sind auf GitHub unter der Apache-2.0-Lizenz verfügbar. NVIDIA zufolge erlaubt die Lizenz Teams, den Code zu prüfen, parallel zu entwickeln und Verbesserungen beizutragen. Beide Projekte befinden sich in der Public Preview, daher können sich ihre APIs, Konfiguration und ihr Verhalten zwischen den Releases ändern.

NVIDIA empfiehlt derzeit keines der beiden Projekte für Produktions-Workloads. Die NVIDIA Cloud Partner Firmus und SK Telecom integrieren NVKE und NVKR in ihre AI Factories. Mirantis, Rafay, Spectro Cloud, OpenNebula Systems, vCluster und Netris bauen Komponenten in Angebote für verwaltetes Kubernetes und Netzwerkautomatisierung ein. Nutzer können NVKE mit einem lokalen Quickstart auf einem einzelnen Rechner testen oder die NVKE-Dokumentation konsultieren, um die Managementebene bereitzustellen und zu betreiben.