AWS ergänzt SDC-Erkennung und -Wiederherstellung für SageMaker HyperPod

AWS hat eine Methode zur Erkennung und Wiederherstellung nach stiller Datenkorruption in Trainingsjobs mit Amazon SageMaker HyperPod vorgestellt. Der Ansatz ergänzt eine PyTorch-DistributedDataParallel-Trainingsschleife um drei Prüfungen und ordnet verdächtige GPU-Ranks den Knoten zu, die HyperPod ersetzen kann.
- AWS ergänzt eine PyTorch-DDP-Trainingsschleife um drei SDC-Prüfungen.
- Die Prüfungen untersuchen nicht endliche Gradienten, wiederholte Micro-Batches und Fingerabdrücke der Gewichte.
- Ein verdächtiger Rank kann einem HyperPod-Knoten zugeordnet werden, um ihn abzusichern und zu ersetzen.
- Für die Tests wurden 4 ml.p5.48xlarge-Instanzen mit 32 NVIDIA-H100-GPUs verwendet.
- Die Methode erfordert mindestens drei GPU-Knoten und gemeinsam genutzten Speicher für Checkpoints.
Warum stille Datenkorruption schwer zu finden ist
Stille Datenkorruption tritt auf, wenn Hardware wie eine GPU eine falsche, aber plausible Zahl zurückgibt, ohne einen Fehler auszulösen. Beim verteilten Training kann dieser Wert in die Gradienten und Gewichte aller Replikate gelangen, während der Loss stundenlang normal aussieht.
AWS verweist auf Metas 54-tägigen Pre-Training-Lauf für Llama 3 405B mit bis zu 16K H100-GPUs. Nach Angaben von AWS führte Meta 6 von 419 unerwarteten Unterbrechungen des Jobs auf stille Datenkorruption zurück. Die Zahlen umfassten nur Fälle, die den Job unterbrachen und auf SDC zurückgeführt wurden.
Die bestehenden Schutzmechanismen von HyperPod überwachen gemeldete GPU-Fehler, führen umfassende Integritätsprüfungen durch und ersetzen Hardware, die ausfällt. Laut AWS kann SDC diese Maßnahmen umgehen, weil die Hardware keinen Fehler meldet. Die gängigen Schutzmechanismen decken zudem unterschiedliche Ebenen ab: ECC schützt den Speicher, Transportprüfungen verifizieren, dass Bytes wie gesendet angekommen sind, und Prüfsummen von Checkpoints können einen manipulierten, aber konsistenten Checkpoint validieren.
Drei Prüfungen untersuchen die Trainingsberechnung
Die erste Prüfung sucht nach nicht endlichen Gradienten, darunter NaN, Inf und Überläufe beim Forward- oder Backward-Pass einer GPU. Sie erkennt auch NaN oder Inf, die durch Gradient-All-Reduce eingeführt wurden. Mit dieser Prüfung lässt sich das Problem in dem Schritt erkennen, in dem es auftritt.
Die zweite Prüfung ist ein Ring-Replay-Audit. In Auditschritten berechnet jede GPU einen Micro-Batch von einem anderen Knoten erneut und vergleicht den Loss Bit für Bit sowie die Gradienten anhand eines Fingerabdrucks. Laut AWS kann dies endliche, falsche Werte im Berechnungspfad erkennen, wenn sie den Loss oder einen Gradienten verändern.
Die dritte Prüfung vergleicht die Fingerabdrücke der Gewichte nach dem Optimizer-Update. Sie kann ein Replikat identifizieren, dessen Gewichte von einer deutlichen Mehrheit abweichen, und so Korruption im Optimizer-Schritt oder in gespeicherten Gewichten erkennen. AWS testete die Prüfungen mit softwareseitig eingeschleusten Fehlern auf einem SageMaker-HyperPod-Cluster mit 4 ml.p5.48xlarge-Instanzen beziehungsweise 32 NVIDIA-H100-GPUs. Jeder Test wurde auf drei Instanzen wiederholt, der von den Prüfungen vorausgesetzten Mindestanzahl.
Vom Alarm zum Austausch des Knotens
AWS beschreibt eine Reaktion in vier Schritten. Die Trainingsschleife erkennt das Problem und nennt einen verdächtigen Rank. In einem von Amazon Elastic Kubernetes Service orchestrierten SageMaker-HyperPod-Cluster enthält der Kubernetes-Knotenname die Instanz-ID, sodass sich der Rank einem Knoten zuordnen lässt.
Der Job kann anschließend gestoppt und der Knoten für neue Workloads gesperrt werden, während Betreiber die GPU-Metriken in den HyperPod-Observability-Dashboards prüfen. AWS empfiehlt, unklare Alarme zu bestätigen, den Knoten nach der Prüfung zu ersetzen und den Job von einem Checkpoint fortzusetzen, der vor dem verdächtigen Zeitraum gespeichert wurde. Das Unternehmen weist darauf hin, dass beim Ersetzen eines Knotens dessen Root- und sekundäre Volumes einschließlich des lokalen NVMe-Speichers gelöscht werden. Checkpoints sollten daher auf gemeinsam genutztem Speicher wie Amazon FSx for Lustre oder Amazon S3 abgelegt werden.
Die Methode erfordert einen EKS-orchestrierten HyperPod-Cluster mit mindestens drei GPU-Knoten, einen PyTorch-DDP-Job, dessen Replikate ihre eigenen Optimizer-Schritte ausführen, sowie eine Datenpipeline, die den Micro-Batch eines Ranks für einen bestimmten Schritt neu erstellen kann. Laut AWS ist die vollständige Implementierung im begleitenden GitHub-Repository verfügbar. Für Nutzer großer verteilter Trainingsjobs verlagert der Vorschlag die SDC-Erkennung in die Berechnung selbst, wo Standardprüfungen von Hardware und Transport sie möglicherweise nicht erkennen.


