AWS ergänzt SageMaker HyperPod um dreistufige Data Capture

Amazon SageMaker HyperPod umfasst jetzt Data Capture, eine integrierte Funktion, die Eingaben und Ausgaben laufender Inferenzprozesse in Amazon S3 speichert. AWS zufolge soll die Funktion Teams dabei helfen, Drift zu erkennen, Fehlermuster zu identifizieren und Modelle anhand von Interaktionen aus dem Produktivbetrieb zu verbessern.
- Data Capture erfasst laufende HyperPod-Inferenzdaten in Amazon S3.
- Drei unabhängige Ebenen decken Nutzdaten, Load-Balancer-Metadaten und Daten vom Modell-Pod ab.
- AWS demonstriert Athena-Analysen, SQL-Kennzeichnung und Feinjustierung in einem Cluster.
- Ebene 3 kann vollständige Nutzdaten für die Fehlersuche und die Zusammenstellung von Trainingsdaten erfassen.
- AWS empfiehlt Verschlüsselung, Stichproben, Lebenszyklusregeln und die Entfernung personenbezogener Daten.
Drei Möglichkeiten zur Erfassung von Inferenzdaten
HyperPod Data Capture bietet drei unabhängige Ebenen. Teams können beliebige Kombinationen im selben dataCapture-Block aktivieren. Ebene 1 ist die Erfassung am SageMaker-Endpunkt. Sie speichert vollständige Anfrage- und Antwortdaten und ist für Compliance-, Model-Monitor- und Audit-Anwendungsfälle gedacht.
Ebene 2 erfasst Felder aus den Zugriffsprotokollen des Application Load Balancer, darunter die Anfragezeile, Statuscodes, Zeitangaben, die Client-IP-Adresse und den User-Agent. AWS sieht diese Ebene für die Überwachung von Datenverkehr und Fehlerraten vor, wenn Teams lediglich Metadaten benötigen.
Ebene 3 läuft am Modell-Pod. Sie speichert vollständige Anfrage- und Antwortdaten zusammen mit Ereignismetadaten und ist für Fehlersuche, Analysen und die Zusammenstellung von Trainingsdaten gedacht. Die Funktion nutzt einen Inferenz-Operator mit NGINX-, OpenTelemetry-Collector- und Amazon-S3-Uploader-Sidecars. AWS zufolge hat Data Capture nur minimale Auswirkungen auf die Latenz und keine Auswirkungen auf die Modellverfügbarkeit.
Produktionsdaten-Flywheel in einem Cluster
AWS demonstriert die Funktion anhand eines Routers für den Kundendienst von Haushaltsgeräten mit synthetischen Daten. In der Anleitung werden jede Anfrage und Antwort in Amazon S3 erfasst, die Datensätze mit Amazon Athena abgefragt, anhand einer SQL-Richtlinie gekennzeichnet, der Router mit den gekennzeichneten Daten feinjustiert und das aktualisierte Modell neben dem ursprünglichen Modell erneut bereitgestellt.
Im Beispiel zeigt Athena eine Schwachstelle im Umgang mit einem neuen Produkt. Der Feinjustierungsjob läuft über den HyperPod-Trainingsoperator auf einer zweiten GPU, während der Inferenzoperator das Modell auf einem anderen Knoten bereitstellt. Das neue Modell wird anschließend von einem zweiten Endpunkt bedient, wobei die Erfassung weiterhin aktiviert ist. AWS zufolge misst das Beispiel die Genauigkeit vor und nach der Feinjustierung anhand von Daten, die vor der Bereitstellung nicht hätten existieren können.
Die Anleitung verwendet Qwen2.5-3B-Instruct, weil das Modell AWS zufolge klein genug ist, um in etwa einer Minute feinjustiert zu werden, und auf eine einzelne NVIDIA L40S passt. Für das Beispiel werden ein SageMaker-HyperPod-Cluster, der von Amazon Elastic Kubernetes Service orchestriert wird, die Inferenz- und Trainingsoperatoren, zwei verfügbare NVIDIA-GPUs, kubectl und ein Amazon-S3-Bucket in derselben Region benötigt.
Kontrollen für erfasste Produktionsdaten
Ebene 1 und Ebene 3 speichern beide vollständige Daten. Werden beide aktiviert, wird jeder Datensatz zweimal gespeichert. AWS empfiehlt Ebene 1 für Compliance und Model Monitor, Ebene 2, wenn nur Metadaten zum Datenverkehr benötigt werden, und Ebene 3, wenn Teams die Nutzdaten verwenden wollen.
Da Datensätze aus Ebene 3 Namen, Adressen und Bestellnummern enthalten können, rät AWS, die Daten vor ihrer Verwendung für das Training zu schützen. Zu den empfohlenen Maßnahmen gehören Stichproben, die Verschlüsselung mit AWS Key Management Service, Amazon-S3-Lebenszyklusregeln und die Entfernung personenbezogener Daten, beispielsweise mit Amazon Comprehend.
In der gezeigten Bereitstellung ist Ebene 3 mit einem anfänglichen Stichprobenanteil von 100 Prozent aktiviert und erfasst sowohl Eingaben als auch Ausgaben. Dies sind die von AWS beschriebenen Standardeinstellungen. Teams können den Stichprobenanteil, die Größe der Puffer-Batches, das Flush-Intervall und die maximale Größe der Nutzdaten anpassen.


