Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

AWS ergänzt GPU-Diagnose und Observability für SageMaker HyperPod

19. November 2026, 17:41Von der KI Nachrichten RedaktionQuelle: AWS
AWS ergänzt GPU-Diagnose und Observability für SageMaker HyperPod
Bild: AWS

AWS hat die Infrastruktur-Observability in Amazon SageMaker HyperPod erweitert und GPU-Diagnose und Profiling für verteilte Trainings-Workloads auf Amazon EKS und Slurm zusammengeführt. Die Funktion soll Teams dabei helfen, fehlerhafte Beschleuniger, Netzwerkprobleme und andere Ursachen für einen geringeren Trainingsdurchsatz zu erkennen.

Das Wichtigste in Kürze
  • HyperPod vergleicht GPUs nun, um Ausreißer in Trainingsjobs zu erkennen.
  • Statische Regeln erkennen GPU-Fehler, EFA-Probleme, Drosselung und Überhitzung.
  • Standardmetriken werden alle 30 Sekunden erfasst.
  • CloudWatch ist der neue standardmäßige Metrikspeicher, Prometheus wird weiterhin unterstützt.
  • Die Funktion ist als EKS-Add-on oder Slurm-Erweiterung verfügbar.

GPU-Ausreißer und typische Fehlermuster

Die erweiterte Observability nutzt die Amazon-CloudWatch-API DetectGroupOutliers, um GPUs innerhalb eines Trainingsjobs zu vergleichen. Bewertet werden Auslastung, Speichernutzung, Temperatur, Leistungsaufnahme und SM-Taktfrequenz. GPUs, die deutlich von ihren Vergleichswerten abweichen, werden anschließend markiert.

Eine Diagnosezusammenfassung wendet außerdem statische Regeln auf bekannte Infrastrukturprobleme an. Dazu zählen GPU-XID-Fehler, ECC-Speicherfehler, Ausfälle von Beschleunigern, eine verringerte EFA-Datenrate, Paketverluste, erneute Übertragungen, Takt-Drosselung und Überhitzung. Jede erkannte Störung weist den betroffenen Job, Cluster, Knoten, Beschleuniger und Rang aus.

Laut AWS funktionieren die Funktionen mit Trainingsjobs, die sowohl von Amazon EKS als auch von Slurm orchestriert werden. Teams sollen dadurch einen einzelnen problematischen Beschleuniger in umfangreichen verteilten Jobs isolieren können, statt separate Logs und Dashboards durchsuchen zu müssen.

Standardmäßige und erweiterte Infrastrukturmetriken

HyperPod erfasst Telemetriedaten auf zwei Ebenen. Standardmetriken werden automatisch aktiviert und decken den Clusterzustand, die CPU-, Festplatten- und Betriebssystemauslastung, die GPU-Auslastung und -Temperatur sowie die Ressourcennutzung pro Job ab. Sie werden alle 30 Sekunden erfasst und an den ausgewählten Metrikspeicher gesendet, bei einer CPU-Last von etwa 1, 2 % und einem Speicherbedarf von 250, 300 MB.

Erweiterte Metriken sind optional. Dazu gehören die vollständige Node-Exporter-Suite, NVIDIA-GPU-DCGM- und AWS-Neuron-Metriken sowie Metriken für den Elastic Fabric Adapter zu Datenrate, Paketverlusten, erneuten Übertragungen und Fehlern. AWS weist darauf hin, dass diese Optionen die an den Metrikspeicher gesendete Telemetriemenge erhöhen, was sich auf die Kosten auswirkt. Das Unternehmen bezeichnet sie als besonders nützlich für lang laufende Trainingsjobs auf großen Clustern, bei denen im Laufe der Zeit Probleme auftreten können.

Amazon CloudWatch ist nun der standardmäßige Metrikspeicher und löst Amazon Managed Service for Prometheus als bisher unterstützte Option ab. Teams können weiterhin Amazon Managed Service for Prometheus auswählen. CloudWatch ermöglicht die Überwachung über CloudWatch SageMaker Insights in der AWS Management Console.

So können HyperPod-Kunden die Funktion aktivieren

Für von EKS orchestrierte Cluster wird die erweiterte Observability als Add-on bereitgestellt. Bei von Slurm orchestrierten Clustern ist sie als Erweiterung verfügbar. AWS Identity and Access Management steuert, wer die Funktion installieren oder ändern darf.

Im benutzerdefinierten HyperPod-Einrichtungsworkflow ist die Observability standardmäßig aktiviert. Kunden können dort erweiterte Metrikkategorien auswählen, die Protokollierung konfigurieren, CloudWatch oder Amazon Managed Service for Prometheus auswählen und einen Grafana-Arbeitsbereich einrichten. Bei der Schnelleinrichtung ist die Observability standardmäßig aktiviert und kann nicht abgewählt werden.

AWS bietet außerdem Optionen über Konsole, API und AWS Command Line Interface zur Installation des EKS-Add-ons. Kunden können mit grundlegenden Metriken beginnen und später Kategorien wie erweiterte EFA-Metriken aktivieren. Laut Unternehmen lassen sich Metrikkategorien und Profiling-Funktionen jederzeit aktivieren oder deaktivieren.

Warum das Update für verteiltes Training wichtig ist

Beim verteilten Modelltraining können erhebliche GPU-Kapazitäten verloren gehen, wenn ein Beschleuniger, eine Netzwerkverbindung oder ein Prozess auf dem Host langsamer wird. Laut AWS sollen die kombinierten Metriken und Diagnosen von HyperPod die Zeit verkürzen, die zur Klärung benötigt wird, ob eine Verlangsamung auf einen GPU-Fehler, thermische Drosselung, eine verschlechterte Netzwerkleistung oder ein anderes Infrastrukturproblem zurückzuführen ist.

Für Nutzer von HyperPod-Trainingsjobs bietet das Update einen direkteren Weg von einem Leistungsproblem zum betroffenen Job, Knoten oder Beschleuniger. Außerdem können Teams zwischen CloudWatch und Prometheus-basierter Überwachung wählen, während detailliertere Telemetrie für Workloads, die sie benötigen, optional bleibt.

Ähnliche Meldungen

AWS SageMaker AI ergänzt Monitoring für Drift bei Inferenz-Endpunkten
Produkte und Tools19. November 2026, 22:28

AWS SageMaker AI ergänzt Monitoring für Drift bei Inferenz-Endpunkten

Amazon SageMaker AI erkennt jetzt Latenz-Drift, unzureichend ausgelastete GPUs und verpasste Optimierungen beim Serving geeigneter Inferenz-Endpunkte für generative KI.…

AWS erweitert SageMaker HyperPod um Workload-Wiederherstellung und tiefere Prüfungen
Produkte und Tools19. November 2026, 00:03

AWS erweitert SageMaker HyperPod um Workload-Wiederherstellung und tiefere Prüfungen

AWS hat für Amazon SageMaker HyperPod Funktionen zur Workload-Wiederherstellung und erweiterte Infrastrukturprüfungen eingeführt. Damit sollen Fehler beim Training…

AWS bringt verwaltete NVIDIA-Dynamo-Inferenz auf SageMaker HyperPod
Produkte und Tools18. November 2026, 00:33

AWS bringt verwaltete NVIDIA-Dynamo-Inferenz auf SageMaker HyperPod

Amazon SageMaker HyperPod Inference unterstützt jetzt NVIDIA Dynamo und verbindet die verteilten Inferenzfunktionen des Open-Source-Frameworks mit der…