CoreWeave automatisiert die Nutzerverwaltung für Slurm-Cluster mit AUP und SUP

Was AUP und SUP leisten

CoreWeave beschreibt das Problem als altbekannt: Die Verwaltung von Nutzerzugängen zu Rechenclustern sei langsam, manuell und fehleranfällig. Forschende warten auf Zugangsdaten, Administratoren verbringen Stunden damit, Nutzer einzurichten und Berechtigungen zu korrigieren. In großen KI-Umgebungen verzögere diese Reibung die Forschung und verschwende GPU-Zeit, so das Unternehmen.

AUP übernimmt die Föderation über CoreWeave Cloud hinweg, darunter CoreWeave Kubernetes Service (CKS), CoreWeave AI Object Storage und die CoreWeave Console. Es verbindet den Identity-Provider einer Organisation über SCIM (System for Cross-domain Identity Management) mit CoreWeave Identity and Access Management (IAM). Nutzer und Gruppen werden anschließend fortlaufend von Anbietern wie Okta oder Microsoft Entra synchronisiert. Änderungen im vorgelagerten System, etwa neue Nutzer, aktualisierte Rollen oder Löschungen, werden automatisch übernommen. Das beseitige manuelle Schritte und verhindere veraltete Zugangsdaten, so CoreWeave.

SUP überträgt diese Automatisierung auf Slurm-on-Kubernetes-Cluster. Sobald ein Nutzer in CoreWeave IAM oder bei einem vorgelagerten Identity-Provider angelegt wird, erstellt SUP automatisch POSIX-Nutzer und -Gruppen, SSH-Schlüssel sowie Slurm-Nutzer und -Accounts. Laut CoreWeave stimmen Zugriff und Berechtigungen schon beim ersten Login, ganz ohne YAML und ohne Tickets.

So funktioniert es im Hintergrund

SUP nutzt einen SCIM-Endpunkt pro Kunde und NSSCache, um Nutzer- und Gruppendaten auf die Knoten zu verteilen. CoreWeave grenzt das von SSSD ab, das einen laufenden Daemon und permanente Netzwerkverbindung voraussetzt. NSSCache erzeugt stattdessen lokale Caches, was laut Unternehmen die Authentifizierung in großen oder wechselhaften HPC-Umgebungen schneller und robuster macht.

CoreWeave behauptet, AUP und SUP bildeten zusammen das erste vollständig automatisierte Ende-zu-Ende-System zur Nutzerverwaltung für Slurm-Cluster, und kein anderer Cloud-Anbieter biete eine solche Funktion. Zudem sei man die einzige Plattform mit Platin-Zertifizierung bei ClusterMax.

In der im Beitrag beschriebenen Demo legt ein Admin im Identity-Provider einen neuen Forschenden an und fügt ihn der Gruppe slurm-users hinzu. AUP synchronisiert den Datensatz per SCIM in CoreWeave IAM, SUP übernimmt ihn über NSSCache beim nächsten Abruf, nach etwa einer Minute. Anschließend werden POSIX-Nutzer, Gruppenmitgliedschaften, UID und GID, SSH-Schlüssel sowie ein Slurm-Nutzer samt Account eingerichtet, und der Forschende kann sich sofort anmelden.

Einrichtung und Migration

CoreWeave skizziert einen kurzen Weg zur Einrichtung:

• SCIM aktivieren, in CoreWeave IAM ein Token erstellen und SCIM im Identity-Provider konfigurieren.
• Für jeden Slurm-Cluster ein SCIM-Token für SUP erstellen und NSSCache in jedem Cluster konfigurieren.
• Kleine Teams ohne Identity-Provider können in IAM SUNK-spezifische Gruppen wie slurm-users und slurm-sudo anlegen und NSSCache auf den SCIM-Endpunkt verweisen.

CoreWeave empfiehlt AUP, um Identitäten über SUNK und weitere Dienste wie Object Storage und CKS hinweg zu föderieren. Dabei spiele es keine Rolle, ob Nutzer und Gruppen in IAM von einem Identity-Provider stammen oder manuell angelegt wurden. Forschende können ihre eigenen SSH-Schlüssel auf der Seite mit den Nutzereinstellungen einfügen und ihre POSIX-UID und -GID einsehen.

Für Kunden, die von Authentik zu SUP wechseln, seien laut Unternehmen nur wenige zusätzliche Schritte nötig. Das Team begleite die Umstellung, sie dauere Minuten und beeinträchtige laufende Jobs nicht.

Kundenstimmen und Einordnung

Der Beitrag enthält Aussagen von Kunden. Tim McNerney von Inflection AI sagte, SUNK User Provisioning habe „das Hinzufügen neuer Nutzer zu unserem Slurm-Cluster zur Nebensache gemacht". Zhaoyang Lv von Impossible Inc. bezeichnete das Onboarding bei Slurm auf CoreWeave als „reibungslos und zuverlässig". Jean-Philippe Robichaud von REV.COM erklärte, neue Teammitglieder erhielten „sicheren, sofortigen Zugang" und arbeiteten binnen Minuten auf der Infrastruktur.

Für Teams, die große Trainings- und Inferenz-Workloads auf Slurm betreiben, lautet das Versprechen: weniger Verwaltungsaufwand und schnelleres Onboarding. Organisationen könnten so GPU-Stunden zurückgewinnen, die zuvor für die Einrichtung verloren gingen, so CoreWeave. Die Aussagen zu Geschwindigkeit und Alleinstellung stammen vom Unternehmen selbst und werden in der Ankündigung nicht unabhängig belegt.