AWS erweitert SageMaker HyperPod um Workload-Wiederherstellung und tiefere Prüfungen

AWS hat für Amazon SageMaker HyperPod Funktionen zur Workload-Wiederherstellung und erweiterte Infrastrukturprüfungen eingeführt. Damit sollen Fehler beim Training erkannt werden, die herkömmliche Zustandsprüfungen einzelner Knoten übersehen können. Die neuen Funktionen sollen fehlerhafte GPU-Ergebnisse, Kubernetes-Ausfälle und blockierte Slurm-Jobs früher erkennen.
- AWS hat Amazon SageMaker HyperPod um Workload-Wiederherstellung und erweiterte Infrastrukturprüfungen ergänzt.
- MultiNodeTrainingValidation prüft, ob GPUs über eine oder mehrere Instanzen hinweg korrekt trainieren.
- Ein Kubernetes-Überwachungsagent meldet fehlgeschlagene Pods und Knoten, die an Trainingsfehlern beteiligt sind.
- Die Erkennung hängender Jobs kann blockierte Slurm-Jobs abbrechen, damit sie erneut eingeplant werden.
- AWS schätzt, dass die Kosten eines beispielhaften blockierten Jobs von etwa 16.900 US-Dollar auf rund 530 US-Dollar sinken könnten.
Warum Zustandsprüfungen von Knoten Trainingsfehler übersehen können
SageMaker HyperPod verwendet bereits einen Zustandsüberwachungsagenten, der GPU-, Elastic-Fabric-Adapter- und Kernel-Fehler überwacht. Die gründlichen Zustandsprüfungen testen die Hardware während der Bereitstellung. Die automatische Wiederherstellung von Knoten kann fehlerhafte Hardware neu starten oder ersetzen.
AWS zufolge bewerten diese Prüfungen jeweils nur einen Knoten. Sie stellen nicht fest, ob GPUs korrekte Trainingsergebnisse liefern, ob ein Job noch Fortschritte macht oder ob die für einen Job benötigten Kubernetes-Komponenten ordnungsgemäß funktionieren.
Dadurch bleiben mehrere Fehlerarten möglich. Eine GPU kann Stresstests bestehen, aber falsche Werte erzeugen, wobei NaN oder ein unendlicher Loss erst während eines Trainingslaufs auftritt. Ein NCCL-Timeout, eine blockierte Datenpipeline oder ein Deadlock kann dazu führen, dass ein Job in Slurm weiterläuft und weiterhin GPUs und Arbeitsspeicher belegt. Kubernetes-Fehler können auch in abstürzenden Device-Plugins, fehlenden DaemonSets oder mit Taints versehenen Knoten bestehen.
AWS verweist auf einen Bericht von Meta, dem zufolge stille Datenkorruption für 6 der 419 unerwarteten Unterbrechungen während des 54-tägigen Vortrainings von Llama 3 405B verantwortlich war.
Drei Funktionen setzen an unterschiedlichen Fehlerstellen an
MultiNodeTrainingValidation ist eine neue gründliche Zustandsprüfung für HyperPod-Cluster, die von Amazon Elastic Kubernetes Service, kurz Amazon EKS, orchestriert werden. Zunächst führt sie auf jeder Instanz und anschließend auf Instanzen desselben Typs einen festgelegten Workload aus. Der Test stuft eine Instanz als fehlerhaft ein, wenn ihr Loss den Wert NaN oder unendlich erreicht oder das Training nicht innerhalb des Zeitlimits abgeschlossen wird.
Die Prüfung verwendet auf jeder Instanz einen kurzen Tiny-Megatron-Test und instanzübergreifend einen Megatron-Test, bei dem über EFA kommuniziert wird. Wenn eine Instanz ausfällt, kennzeichnet HyperPod sie als fehlerhaft und startet sie neu oder ersetzt sie, sofern die automatische Knotenwiederherstellung aktiviert ist. Die Prüfung kann bei der Bereitstellung oder Aktualisierung von Instanzen sowie auf Abruf ausgeführt werden. AWS zufolge ist sie auf EKS-Clustern mit unterstützten EFA-fähigen NVIDIA-GPU-Instanzen verfügbar.
Der HyperPod Kubernetes Resource Monitoring Agent überwacht kontinuierlich die Kubernetes-Ebene. Er erkennt unter anderem Änderungen des Knotenstatus, Fehler bei Pods und DaemonSets sowie fehlgeschlagene Trainingsjobs. Wenn ein Job fehlschlägt, meldet er die betroffenen Pods und Knoten über Kubernetes-Ereignisse und Amazon-CloudWatch-Logs. Bei Jobs, die diese Funktion aktivieren, meldet er außerdem den Zustand der NCCL-Kommunikation.
Hung job detection läuft parallel zu Slurm-Jobs und sucht anhand der Jobausgabe, der GPU-Aktivität oder vom Nutzer festgelegter Protokollmuster nach fehlendem Fortschritt. Die Funktion schreibt ein Ereignis in CloudWatch und kann den Job abbrechen, damit Slurm ihn erneut in die Warteschlange einreiht. Unter EKS erkennt HyperPod laut AWS bereits hängende Jobs, die über den HyperPod Training Operator ausgeführt werden. Ray-Train-Jobs erhalten die Erkennung hängender Jobs standardmäßig.
Weniger verschwendete Rechenzeit und bessere Wiederherstellung
AWS beschreibt die drei Funktionen als Lösungen für unterschiedliche Formen von Goodput. MultiNodeTrainingValidation kann verhindern, dass Jobs auf Hardware starten, die ungültige Ergebnisse liefert. Die Kubernetes-Überwachung kann helfen, die Pods und Knoten hinter einem fehlgeschlagenen Job zu identifizieren. Die Erkennung hängender Jobs kann wiederum die Zeit verkürzen, in der Ressourcen durch einen blockierten Lauf gebunden bleiben.
In einem Beispiel von AWS verwendet ein Vortrainingsjob 32 ml.p5.48xlarge-Instanzen beziehungsweise 256 NVIDIA-H100-GPUs. Wenn der Job um 1:00 AM hängen bleibt und dies erst um 9:00 AM bemerkt wird, verschwendet der Vorfall laut AWS 256 Instanzstunden oder 2.048 GPU-Stunden. Beim On-Demand-Preis von SageMaker HyperPod von etwa 66 US-Dollar pro Instanzstunde in US East (N. Virginia) belaufen sich die Kosten auf rund 16.900 US-Dollar.
Mit einer Regel zur Erkennung hängender Jobs nach 15 Minuten bricht HyperPod den blockierten Job ab und Slurm reiht ihn erneut ein. AWS schätzt, dass der Hänger dann etwa 530 US-Dollar kosten würde, was einer Einsparung von rund 16.400 US-Dollar entspricht. Das Beispiel verdeutlicht das operative Ziel der Aktualisierung: Fehler früher erkennen, betroffene Ressourcen freigeben oder ersetzen und Workloads mit weniger manuellem Eingreifen neu starten.


