NVIDIA macht Run:ai zu Open Source und gibt die komplette GPU-Orchestrierungsplattform frei

Was NVIDIA veröffentlicht hat

Die Veröffentlichung umfasst die komplette NVIDIA-Run:ai-Plattform sowie vier Komponenten, die sich auch einzeln einsetzen lassen: KAI Scheduler, GPU Fractioning Operator, KAI Resource Management und Workload Map. Zusammen mit weiterem Plattformcode bilden diese Bausteine die integrierte Plattform. Teams können sie als Ganzes übernehmen, eigene Produkte darauf aufbauen oder einzelne Komponenten passend zu ihren Anforderungen auswählen.

NVIDIA zufolge hat Run:ai Organisationen in den vergangenen Jahren geholfen, KI-Workloads auf Kubernetes im großen Maßstab zu betreiben, indem es GPU-Ressourcen dynamisch zuweist und Workloads von der Datenverarbeitung über das Training bis zur Inferenz verwaltet. Durch die Öffnung des Quellcodes könne, so NVIDIA, jeder Partner im NVIDIA-DSX-Ökosystem und jede KI-Cloud den Workload-Durchsatz steigern, die GPU-Auslastung verbessern und gemeinsam genutzte KI-Infrastruktur effizienter betreiben.

So lässt sich Run:ai beziehen

Der vollständige Quellcode liegt im NVIDIA-Run:ai-Repository innerhalb der GitHub-Organisation NVIDIA DSX AI Factory. Teams können den Code einsehen, dazu beitragen und darauf aufbauen. Die komplette Plattform wird außerdem auf NVIDIA NGC als Community Product angeboten, inklusive eines Helm Charts zur Installation des integrierten Stacks.

Dabei gelten einige Bedingungen. Der Quellcode unterliegt den jeweils einschlägigen Open-Source-Lizenzen. Für den Download des Community Products von NGC müssen die geltende NVIDIA Software License Agreement und die produktspezifischen Bedingungen für NVIDIA AI Products akzeptiert werden. Für das Community Product ist weder ein kostenpflichtiges Run:ai-Abonnement noch ein NVIDIA-Supportanspruch erforderlich, NVIDIA-Enterprise-Support ist jedoch nicht enthalten.

Für Bereitstellungen der NVIDIA Enterprise AI Factory bleibt Run:ai weiterhin über von NVIDIA unterstützte kommerzielle Angebote verfügbar, unter anderem als eigenständiges Produkt, über NVIDIA Mission Control und NVIDIA AI Enterprise sowie auf ausgewählten Cloud-Marktplätzen. NVIDIA weist darauf hin, dass Verfügbarkeit, Lizenzierung und Support je nach Angebot variieren.

KAI Scheduler und die modularen Komponenten

Der KAI Scheduler ist der Kubernetes-native Scheduler, der Run:ai antreibt. NVIDIA hatte ihn bereits zuvor unter der Apache-2.0-Lizenz als Open Source veröffentlicht und als Sandbox-Projekt an die CNCF übergeben. Laut NVIDIA bleibt er die Upstream-Engine hinter Run:ai, und die gesamte Scheduler-Entwicklung findet im Community-Repository statt.

Der Scheduler ist für GPU-Workloads im großen Maßstab ausgelegt und deckt Folgendes ab:

• Gang Scheduling mit speicherinterner Simulation vor der eigentlichen Zuweisung, sodass Multipod-Jobs nach dem Alles-oder-nichts-Prinzip platziert und nicht unnötig verdrängt werden
• Fair-Share, einschließlich zeitbasiertem Fair-Share, und Quotenzuteilung über Teams hinweg
• Topologiebewusstsein und Bin-Packing auf Ebene der Scheduling-Entscheidung
• GPU-Sharing über einzelne oder mehrere GPUs (MIG, MPS, Time Sharing, HaMi, CUDA-13.4-MPS-Fractioning)
• Unterstützung für Dynamic Resource Allocation (DRA)

NVIDIA zufolge lässt sich der KAI Scheduler ohne die komplette Run:ai-Plattform in einem bestehenden Cluster neben dem vorhandenen Software-Stack einsetzen. Der GPU Fractioning Operator ermögliche CUDA-native GPU-Anteile in Kubernetes-Clustern. KAI Resource Management kümmert sich um organisatorische Quoten und Hierarchien, und Workload Map stellt einen einheitlichen Vertrag für das Workload-Management bereit.

Integrationen durch Partner

Acht Partner aus dem NVIDIA-DSX-Ökosystem integrieren die Open-Source-Plattform in ihre Angebote:

• Crusoe integriert Run:ai in Crusoe Managed Kubernetes.
• Mirantis erweitert k0rdent AI um Run:ai für einen lebenszyklusverwalteten AI-Factory-Stack von Metal bis Model.
• Nebius bietet Run:ai als Ein-Klick-Anwendungsbereitstellung in der Nebius AI Cloud auf dem Nebius Managed Service for Kubernetes an.
• OpenNebula Systems integriert es über OneKS in die OpenNebula AI Cloud Platform, für offene und souveräne KI-Clouds.
• Rafay baut seine Integration aus, um Run:ai als vollständig verwalteten Dienst anzubieten, den KI-Cloud-Anbieter und Unternehmen über ihre eigenen Self-Service-Kataloge bereitstellen können.
• Saturn Cloud nutzt Run:ai, damit Betreiber von KI-Clouds über die Plattform Token Factory White-Label-Inferenzdienste mit tokenbasierter Messung und automatisierter Abrechnung starten können.
• Spectro Cloud integriert es in PaletteAI, bereitstellbar über PaletteAI Studio.
• vCluster stellt Run:ai über vorvalidierte Bereitstellungsvorlagen bereit, die pro Mandant eine vollständige Umgebung aufbauen, während Run:ai das Scheduling über eine einzige GPU-Flotte hinweg übernimmt.

NVIDIA verweist zudem auf zwei verwandte Open-Source-Projekte, Model Streamer und Grove, die nach eigenen Angaben das Laden von Modellen beschleunigen und Inferenz-Workloads aus mehreren Komponenten orchestrieren.

Was das für Plattformteams bedeutet

Für Organisationen, die gemeinsam genutzte GPU-Cluster betreiben, bedeutet die Veröffentlichung, dass sich der Orchestrierungscode hinter Run:ai einsehen, anpassen und erweitern lässt, statt ihn nur als kommerzielles Produkt zu beziehen. Teams, die bereits eine Plattform haben, können eine konkrete Lücke schließen, indem sie eine einzelne Komponente wie den Scheduler oder den Fractioning Operator übernehmen. Cloud-Betreiber und Softwareanbieter im DSX-Ökosystem erhalten eine gemeinsame Basis, die sie in ihre eigenen AI-Factory-Angebote einbauen können. Wer Enterprise-Support benötigt, muss weiterhin auf die kommerziellen Angebote von NVIDIA zurückgreifen, da das Community Product ihn nicht enthält.