NVIDIA CUDA 13.5 bringt Vera Rubin in die allgemeine Verfügbarkeit

Plattformunterstützung: Vera Rubin und DGX Station for Windows

Laut NVIDIA ist die Vera-Rubin-Unterstützung in CUDA 13.5 nun bereit für den produktiven Einsatz in Unternehmen. Die Unterstützung für Windows on Arm, die seit CUDA 13.4 allgemein verfügbar ist, umfasst jetzt auch die NVIDIA DGX Station for Windows.

Das Release ändert zudem, wie Windows-Treiber auf der neuen Hardware arbeiten. Ab der NVIDIA-Rubin-Architektur unterstützt CUDA das Windows Driver Display Model (WDDM) und das Microsoft Compute Driver Model (MCDM), wobei MCDM als reines Compute-Modell dient. Tesla Compute Cluster (TCC) wird auf Rubin und späteren GPUs nicht unterstützt. NVIDIA rät, dass Anwendungen und Deployment-Tools, die vom TCC-Modus ausgehen, eine unterstützte WDDM- oder MCDM-Konfiguration für das jeweilige Zielsystem verwenden sollten.

Mehr Kontrolle über das GPU-Scheduling

CUDA 13.5 lässt Anwendungen die Wahl zwischen einheitlichen Partitionen von Streaming Multiprocessors (SM) über Locality Domains hinweg und Partitionen, die alle verfügbaren SMs einschließen. Standardmäßig verwenden lokalisierte Green-Context-Partitionen pro Domain dieselbe garantierte SM-Anzahl, sodass zusätzliche SMs außerhalb dieser Partitionen bleiben. Ein neues Flag, cudaDevSmResourceGroupLocalityDomainSupplementalSms, bezieht in Kombination mit cudaDevSmResourceGroupLocalityDomainId diese zusätzlichen SMs in jede ausgewählte Domain ein. Die resultierenden Partitionen können unterschiedlich groß ausfallen. Anwendungen können den Discovery-Modus der API cudaDevSmResourceSplit() nutzen, um die SM-Anzahl jeder Partition abzufragen und die Arbeit entsprechend zu verteilen.

NVIDIA Multi-Process Service (MPS) v3 bringt mehrere Steuerungsmöglichkeiten dafür, wie sich Workloads eine GPU teilen:

• Gewichtetes Timeslicing: Es lässt sich eine Basis-Zeitscheibe festlegen, pro MPS-Server skalieren und einstellen, wie aggressiv die GPU zwischen Workloads wechselt.
• Lastverteilung zwischen SM-Partitionen: Das Ausleihen wird mit --max-chunks aktiviert, und eine Partition kann ihre SMs verleihen, solange keine Clients angebunden sind, mit --shareable=true. MPS holt ausgeliehene Ressourcen zurück, bevor sie neu zugewiesen werden.
• Cgroup-basiertes Routing: Ein cgroup-v2-Teilbaum lässt sich einem MPS-Namespace zuordnen, und Clients, die sich über den Haupt-Socket des Daemons verbinden, werden automatisch dorthin geleitet.
• SM-Partitionszuweisungen pro Namespace: Eine Partition wird einmal pro Gerät gewählt und für jeden Client im Namespace übernommen, sodass CUDA_MPS_SM_PARTITION für diese Clients nicht mehr separat konfiguriert werden muss.
• Polling-basierter Fallback für die Speicherbilanzierung: Fehlen Cgroup-Schwellenwertbenachrichtigungen oder sind sie unzuverlässig, kann MPS die aktuelle Nutzung und die Limits direkt auslesen.

CUDA 13.5 ergänzt außerdem CUDA-Graph-Unterstützung für gebündelte eindimensionale Speicherkopien. Bestehende cudaMemcpyBatchAsync-Aufrufe lassen sich ohne Änderung der Aufrufsyntax in die Stream Capture einbeziehen, und Knoten für gebündelte Kopien können explizit hinzugefügt werden.

CUDA Tile und CUDA Python

CUDA-Tile-Kernel können nun die Multi-GPU-Kommunikation direkt übernehmen. Unicast-Pointer erlauben einem Kernel den Zugriff auf Speicher einer anderen, per NVLink verbundenen GPU. Multicast-Pointer und dedizierte Multimem-Operationen unterstützen Reduktionen und Speichervorgänge über mehrere GPUs hinweg auf NVIDIA-NVSwitch-Fabrics mit NVIDIA-NVLink-SHARP-Unterstützung. Laut NVIDIA ermöglicht das Workloads wie fusionierte Matrixmultiplikation und GPU-übergreifende Reduktion.

Eine öffentliche Vorschau der Tile-zu-SIMT-Interoperabilität erlaubt es Kerneln, die in cuTile Python oder CUDA Tile C++ geschrieben sind, mitten im eigenen Code Device-Funktionen aus SIMT-Bibliotheken aufzurufen, und zwar mit Daten, die bereits in Registern oder im Shared Memory liegen. Bisher ließen sich Tile- und SIMT-Bibliothekscode nur über Kernel-Grenzen hinweg kombinieren, wobei die Daten über den globalen Speicher laufen mussten. Genannt werden die Bibliotheken NVSHMEM, CCCL Coop, Warp und MathDx. NVIDIA zufolge wird jede von ihnen die Interop-Unterstützung in Kürze aktivieren. In diesem Release deckt die Vorschau nur Bibliotheksfunktionen ab. Der Aufruf eigener __device__-Funktionen aus Tile-Code ist für ein künftiges Release geplant.

Zum Ausprobieren in C++ kompiliert man mit nvcc --tile-preview simt und übergibt die Tilelib an den Tile-Compiler. In cuTile Python verwendet man cuda.tile_preview.foreign_call aus dem Paket cuda.tile_preview.

Auf der Python-Seite führt die Bibliothek cuda.core 1.2 laut dem Beitrag gebündelte Speicherkopien und Programmatic Dependent Launch (PDL) ein.

Was das für Entwickler bedeutet

Für Teams, die Produktivumgebungen auf Vera Rubin planen, entfällt mit der allgemeinen Verfügbarkeit das Early-Access-Etikett an der Toolchain. Betreiber, die GPUs auf viele Workloads aufteilen, erhalten mit MPS v3 eine feinere Steuerung, und Entwickler können zwischen planbaren, einheitlichen SM-Partitionen und einer möglichst vollständigen Auslastung der GPU wählen. NVIDIA verweist Entwickler auf den Download des CUDA Toolkit 13.5, auf die CUDA-Runtime-API-Dokumentation für Details zu Locality Domains sowie auf den MPS-v3-Schnittstellenleitfaden für die Konfiguration.