NVIDIA Snapshot stellt GPU-Workloads auf Kubernetes in Sekunden wieder her

Snapshot bewahrt initialisierte GPU-Workloads

Snapshot ist eine neue Open-Source-Komponente der NVIDIA DSX AI Factory Platform. Sie erfasst den CPU- und GPU-Speicher eines vollständig initialisierten Workloads als portables Checkpoint-Artefakt und stellt diesen Zustand anschließend auf kompatibler Infrastruktur wieder her.

Das System soll mehrere aufwendige Startschritte überflüssig machen. Dazu gehören das Laden der Modellgewichte in den GPU-Speicher, das Kompilieren von Kernels und das Erfassen von CUDA-Graphs. NVIDIA weist darauf hin, dass die Bereitstellung der Infrastruktur und das Laden des Container-Images nicht in den gemessenen Wiederherstellungspfad einfließen.

Snapshot bietet zwei Operationen für GPU-Pods. Ein Checkpoint erfasst einen laufenden Workload, während eine Wiederherstellung einen neuen Pod aus dem gespeicherten Artefakt auf einem Knoten mit demselben GPU-Modell und Treiber startet. Beide Operationen verwenden benutzerdefinierte Kubernetes-Ressourcen. Der Workload benötigt zudem einen kurzen Handshake, um vor dem Erstellen des Checkpoints zu pausieren und nach der Wiederherstellung fortzufahren.

Benchmarks zeigen Wiederherstellungen in weniger als 43 Sekunden

NVIDIA testete Snapshot mit vLLM, SGLang und NVIDIA TensorRT LLM auf NVIDIA B200-GPUs und nutzte dafür VAST-NFS-Speicher. Die getesteten Modelle reichten von Modellen mit 600 Millionen Parametern bis zu Mixture-of-Experts-Modellen mit Checkpoints von bis zu 1 TB über acht GPUs hinweg.

Über alle getesteten Konfigurationen hinweg stellte Snapshot Replikas in 3,6 bis 42,7 Sekunden wieder her. Laut NVIDIA ist das 8x bis 36x schneller als Kaltstarts. Die größten Mixture-of-Experts-Modelle mit Checkpoints von etwa 600 GB bis 1 TB über acht GPUs hinweg wurden in weniger als 43 Sekunden wiederhergestellt. Bei Kaltstarts dauerte dies 6 bis 19 Minuten.

Die Erstellung eines Checkpoints dauerte je nach Modell und Konfiguration 15 Sekunden bis 5,5 Minuten. NVIDIA zufolge war die kombinierte Zeit für Checkpoint-Erstellung und Wiederherstellung in jeder getesteten Konfiguration kürzer als ein einzelner Kaltstart. Bei den größten Workloads mit acht GPUs dauerte die Wiederherstellung des GPU-Zustands 18 bis 29 Sekunden, während die auf CRIU basierende Wiederherstellung des CPU-Prozesses 4,2 bis 10,8 Sekunden beanspruchte.

Unterstützung für Multi-GPU-Inferenz und Integrationen

Snapshot kann kompatible Workloads, die sich über mehrere GPUs auf einem einzelnen Knoten erstrecken, über mehrere Ranks hinweg als ein Artefakt sichern und wiederherstellen. Laut NVIDIA unterstützt dies große Mixture-of-Experts-Modelle mit Tensor-Parallelismus, Daten- und Experten-Parallelismus sowie Decode-Context-Parallelismus.

Das Repository enthält Beispiele für vLLM, SGLang und NVIDIA TensorRT LLM. Obwohl Snapshot ursprünglich für NVIDIA-Dynamo-Inferenz-Worker entwickelt wurde, erklärt NVIDIA, dass auch andere Inferenz-Engines, Scheduler, Controller und Plattformen die Funktionen zum Sichern und Wiederherstellen integrieren können.

Für Nutzer und Plattformteams soll dieser Ansatz initialisierte Workloads wiederverwendbar machen, wenn die Inferenznachfrage steigt oder eine Replika ausfällt. Die Benchmark-Ergebnisse zeigen, dass die Wiederherstellung eines gespeicherten Zustands die Verzögerung bis zur Wiederaufnahme der Bereitstellung von Inferenzdiensten verkürzen kann. Wo ein Workload wiederhergestellt werden kann, hängt jedoch weiterhin von kompatiblen GPUs, Treibern und Laufzeitumgebungen ab.