Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

AWS ergänzt SDC-Erkennung und -Wiederherstellung für SageMaker HyperPod

12. November 2026, 00:30Von der KI Nachrichten RedaktionQuelle: AWS
AWS ergänzt SDC-Erkennung und -Wiederherstellung für SageMaker HyperPod
Bild: AWS

AWS hat eine Methode zur Erkennung und Wiederherstellung nach stiller Datenkorruption in Trainingsjobs mit Amazon SageMaker HyperPod vorgestellt. Der Ansatz ergänzt eine PyTorch-DistributedDataParallel-Trainingsschleife um drei Prüfungen und ordnet verdächtige GPU-Ranks den Knoten zu, die HyperPod ersetzen kann.

Das Wichtigste in Kürze
  • AWS ergänzt eine PyTorch-DDP-Trainingsschleife um drei SDC-Prüfungen.
  • Die Prüfungen untersuchen nicht endliche Gradienten, wiederholte Micro-Batches und Fingerabdrücke der Gewichte.
  • Ein verdächtiger Rank kann einem HyperPod-Knoten zugeordnet werden, um ihn abzusichern und zu ersetzen.
  • Für die Tests wurden 4 ml.p5.48xlarge-Instanzen mit 32 NVIDIA-H100-GPUs verwendet.
  • Die Methode erfordert mindestens drei GPU-Knoten und gemeinsam genutzten Speicher für Checkpoints.

Warum stille Datenkorruption schwer zu finden ist

Stille Datenkorruption tritt auf, wenn Hardware wie eine GPU eine falsche, aber plausible Zahl zurückgibt, ohne einen Fehler auszulösen. Beim verteilten Training kann dieser Wert in die Gradienten und Gewichte aller Replikate gelangen, während der Loss stundenlang normal aussieht.

AWS verweist auf Metas 54-tägigen Pre-Training-Lauf für Llama 3 405B mit bis zu 16K H100-GPUs. Nach Angaben von AWS führte Meta 6 von 419 unerwarteten Unterbrechungen des Jobs auf stille Datenkorruption zurück. Die Zahlen umfassten nur Fälle, die den Job unterbrachen und auf SDC zurückgeführt wurden.

Die bestehenden Schutzmechanismen von HyperPod überwachen gemeldete GPU-Fehler, führen umfassende Integritätsprüfungen durch und ersetzen Hardware, die ausfällt. Laut AWS kann SDC diese Maßnahmen umgehen, weil die Hardware keinen Fehler meldet. Die gängigen Schutzmechanismen decken zudem unterschiedliche Ebenen ab: ECC schützt den Speicher, Transportprüfungen verifizieren, dass Bytes wie gesendet angekommen sind, und Prüfsummen von Checkpoints können einen manipulierten, aber konsistenten Checkpoint validieren.

Drei Prüfungen untersuchen die Trainingsberechnung

Die erste Prüfung sucht nach nicht endlichen Gradienten, darunter NaN, Inf und Überläufe beim Forward- oder Backward-Pass einer GPU. Sie erkennt auch NaN oder Inf, die durch Gradient-All-Reduce eingeführt wurden. Mit dieser Prüfung lässt sich das Problem in dem Schritt erkennen, in dem es auftritt.

Die zweite Prüfung ist ein Ring-Replay-Audit. In Auditschritten berechnet jede GPU einen Micro-Batch von einem anderen Knoten erneut und vergleicht den Loss Bit für Bit sowie die Gradienten anhand eines Fingerabdrucks. Laut AWS kann dies endliche, falsche Werte im Berechnungspfad erkennen, wenn sie den Loss oder einen Gradienten verändern.

Die dritte Prüfung vergleicht die Fingerabdrücke der Gewichte nach dem Optimizer-Update. Sie kann ein Replikat identifizieren, dessen Gewichte von einer deutlichen Mehrheit abweichen, und so Korruption im Optimizer-Schritt oder in gespeicherten Gewichten erkennen. AWS testete die Prüfungen mit softwareseitig eingeschleusten Fehlern auf einem SageMaker-HyperPod-Cluster mit 4 ml.p5.48xlarge-Instanzen beziehungsweise 32 NVIDIA-H100-GPUs. Jeder Test wurde auf drei Instanzen wiederholt, der von den Prüfungen vorausgesetzten Mindestanzahl.

Vom Alarm zum Austausch des Knotens

AWS beschreibt eine Reaktion in vier Schritten. Die Trainingsschleife erkennt das Problem und nennt einen verdächtigen Rank. In einem von Amazon Elastic Kubernetes Service orchestrierten SageMaker-HyperPod-Cluster enthält der Kubernetes-Knotenname die Instanz-ID, sodass sich der Rank einem Knoten zuordnen lässt.

Der Job kann anschließend gestoppt und der Knoten für neue Workloads gesperrt werden, während Betreiber die GPU-Metriken in den HyperPod-Observability-Dashboards prüfen. AWS empfiehlt, unklare Alarme zu bestätigen, den Knoten nach der Prüfung zu ersetzen und den Job von einem Checkpoint fortzusetzen, der vor dem verdächtigen Zeitraum gespeichert wurde. Das Unternehmen weist darauf hin, dass beim Ersetzen eines Knotens dessen Root- und sekundäre Volumes einschließlich des lokalen NVMe-Speichers gelöscht werden. Checkpoints sollten daher auf gemeinsam genutztem Speicher wie Amazon FSx for Lustre oder Amazon S3 abgelegt werden.

Die Methode erfordert einen EKS-orchestrierten HyperPod-Cluster mit mindestens drei GPU-Knoten, einen PyTorch-DDP-Job, dessen Replikate ihre eigenen Optimizer-Schritte ausführen, sowie eine Datenpipeline, die den Micro-Batch eines Ranks für einen bestimmten Schritt neu erstellen kann. Laut AWS ist die vollständige Implementierung im begleitenden GitHub-Repository verfügbar. Für Nutzer großer verteilter Trainingsjobs verlagert der Vorschlag die SDC-Erkennung in die Berechnung selbst, wo Standardprüfungen von Hardware und Transport sie möglicherweise nicht erkennen.

Ähnliche Meldungen

Meta stellt TLX vor, einen hardwarenahen Compiler für GPU-Workloads
Für Entwickler10. November 2026, 17:59

Meta stellt TLX vor, einen hardwarenahen Compiler für GPU-Workloads

Meta hat Triton Low-Level Extensions, kurz TLX, vorgestellt. Die Erweiterung für Triton soll die GPU-Leistung bei produktiven Workloads für maschinelles Lernen…

PyTorch betreibt Metas 816B Muse Spark Open auf einem TPU-v7-Host
Für Entwickler10. November 2026, 17:45

PyTorch betreibt Metas 816B Muse Spark Open auf einem TPU-v7-Host

PyTorch zufolge lässt sich Metas Mixture-of-Experts-Modell Muse Spark Open mit 816B Parametern auf einem einzelnen TPU-v7-Host mit vier Chips betreiben. Das System nutzt…

AWS SageMaker führt GPU-Partitionierung für effizienteres Model-Hosting ein
Produkte und Tools6. November 2026, 19:01

AWS SageMaker führt GPU-Partitionierung für effizienteres Model-Hosting ein

Amazon SageMaker Inference unterstützt jetzt die NVIDIA Multi-Instance-GPU-Partitionierung. Damit können mehrere Modelle über hardwareisolierte Partitionen eine…