Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

AWS SageMaker AI ergänzt Monitoring für Drift bei Inferenz-Endpunkten

19. November 2026, 22:28Von der KI Nachrichten RedaktionQuelle: AWS
AWS SageMaker AI ergänzt Monitoring für Drift bei Inferenz-Endpunkten
Bild: AWS

Amazon SageMaker AI erkennt jetzt Latenz-Drift, unzureichend ausgelastete GPUs und verpasste Optimierungen beim Serving geeigneter Inferenz-Endpunkte für generative KI. Das Monitoring ist für Endpunkte mit vLLM-Serving-Containern auf GPU-Instanzen standardmäßig aktiviert und erfordert keine Einrichtung.

Das Wichtigste in Kürze
  • Das Monitoring ist für geeignete vLLM- und GPU-basierte Endpunkte standardmäßig aktiviert.
  • SageMaker AI prüft Latenz, GPU-Auslastung und Serving-Konfiguration.
  • AWS-Health-Benachrichtigungen identifizieren Befunde und verlinken zu SageMaker Studio.
  • Benchmarks vergleichen Antwortzeit, Durchsatz und Kosten pro einer Million Token.
  • Produktionsendpunkte werden erst geändert, nachdem ein Nutzer ein Ergebnis angewendet hat.

Monitoring konzentriert sich auf betriebliche Signale

Nach Angaben von AWS können Inferenz-Endpunkte allmählich an Effizienz verlieren, wenn sich Verkehrsmuster ändern, Prompts länger werden, Serving-Engines Updates erhalten und Modelle auf neue, fein abgestimmte Checkpoints wechseln. Ein Endpunkt, der beim Start gut funktioniert hat, kann später eine höhere Latenz, ungenutzte GPU-Kapazität oder eine Konfiguration aufweisen, die verfügbare Leistungsverbesserungen nicht nutzt.

SageMaker AI überwacht die Latenz, die GPU-Auslastung und die Serving-Konfiguration des Endpunkts. Laut AWS liest der Dienst weder Anfragen noch Antworten aus, und für das Monitoring selbst fallen keine zusätzlichen GPU-Kosten an.

Die Funktion meldet drei große Kategorien von Erkenntnissen. Latenz-Drift bezeichnet einen Anstieg der medianen, also p50-, End-to-End-Latenz oder der Zeit bis zum ersten Token gegenüber der Vorwoche. Ungenutzte Kapazität weist auf GPUs hin, die größtenteils im Leerlauf bleiben. Konfigurationslücken können einen älteren Serving-Container, eine verfügbare, aber deaktivierte, nicht unterstützte Optimierung oder GPU-Kernel umfassen, die noch nicht auf das Modell und die Hardware abgestimmt wurden.

AWS-Health-Benachrichtigungen führen zu Entscheidungen auf Basis von Benchmarks

SageMaker AI übermittelt Erkenntnisse über AWS Health, zusätzlich steht E-Mail zur Verfügung. Jeder Endpunkt erhält eine Benachrichtigung mit den jeweils zutreffenden Erkenntnissen. AWS begrenzt zugleich, wie viele Benachrichtigungen ein Konto gleichzeitig erhält. Die Benachrichtigungen sind regionsspezifisch.

Die Benachrichtigung nennt den betroffenen Endpunkt, die Beobachtung von AWS, deren Bedeutung und einen empfohlenen nächsten Schritt. AWS weist darauf hin, dass Beobachtungen und Schätzungen entsprechend gekennzeichnet werden und beim Eintreffen der Benachrichtigung noch kein Benchmark durchgeführt wurde.

Mit einer einzigen Auswahl öffnet sich die agentische Umgebung von SageMaker AI in Amazon SageMaker Studio. Der Endpunkt und sein jüngster Datenverkehr sind dort bereits eingetragen. Nutzer können anschließend Inferenzempfehlungen ausführen, um Alternativen auf separater Rechenkapazität zu testen. Je nach Befund können Benchmarks Einstellungen für Tensor-Parallelismus, andere Instanztypen oder -größen, spekulatives Decoding, aktualisierte Serving-Container oder optimierte GPU-Kernel vergleichen.

Die Ergebnisse werden anhand von Antwortzeit, Durchsatz und Kosten pro einer Million Token verglichen. Der Produktionsendpunkt wird erst geändert, wenn der Nutzer sich dafür entscheidet, ein Ergebnis anzuwenden. Teams können so Untersuchungen durchführen, ohne eine laufende Konfiguration unmittelbar zu verändern.

Was Teams benötigen, um auf einen Befund zu reagieren

Für geeignete Endpunkte ist keine Einrichtung des Monitorings erforderlich. AWS nennt jedoch Voraussetzungen für Benchmarking und das optionale Anwenden einer Änderung. Teams benötigen Zugriff auf AWS Health und die AWS User Notifications Console, eine SageMaker-Studio-Domain sowie Berechtigungen in AWS Identity and Access Management, um Inferenzempfehlungs-Jobs auszuführen und Endpunkte zu aktualisieren. Außerdem ist ein ausreichendes Servicekontingent für die Benchmark-Instanzen erforderlich, die sie testen möchten.

Für Benchmarks gelten die regulären Gebühren von SageMaker AI oder, sofern verfügbar, eine Machine-Learning-Reservierung. AWS erklärt, dass für den Monitoring-Dienst selbst keine GPU-Kosten anfallen.

Der Ablauf ist auf vier Schritte ausgelegt: beobachten, benachrichtigen, empfehlen und entscheiden. Wenn ein Chat-Assistent beispielsweise nach der Ergänzung einer Retrieval-Funktion längere Prompts erhält, kann SageMaker AI seine mediane Zeit bis zum ersten Token und seine mediane End-to-End-Latenz mit der Vorwoche vergleichen. Steigen die Werte ausreichend stark an, kann das Team Alternativen benchmarken und eine ausgewählte Konfiguration auf eine Variante anwenden.

Für Nutzer und Betreiber bietet die Funktion eine Möglichkeit, schleichende Leistungs- oder Kostenprobleme zu erkennen, bevor sie einen sichtbaren Ausfall verursachen oder in der Abrechnung auffallen. Praktisch wird die Wartung von Endpunkten damit zu einer regelmäßigen, datengestützten Überprüfung. Die Entscheidung über Änderungen in der Produktion bleibt jedoch beim Team.

Ähnliche Meldungen

AWS lässt KI-Agenten x402-Produkte über Marketplace-Abrechnung kaufen
Produkte und Tools20. November 2026, 00:02

AWS lässt KI-Agenten x402-Produkte über Marketplace-Abrechnung kaufen

AWS hat AWS Billing in die Zahlungen von Amazon Bedrock AgentCore integriert. Damit können KI-Agenten x402-fähige Software, APIs, Daten und Inhalte über den AWS…

AWS ergänzt regionsübergreifendes Inference-Routing für SageMaker AI
Produkte und Tools19. November 2026, 19:20

AWS ergänzt regionsübergreifendes Inference-Routing für SageMaker AI

AWS hat regionsübergreifendes Inference-Routing in Amazon SageMaker AI eingeführt. Damit erhalten Anwendungen einen einheitlichen Aufrufpfad über Modellendpunkte und…

Salesforce nutzt SageMaker-AI-Routing zur Verwaltung globaler Modellkapazitäten
Produkte und Tools18. November 2026, 21:13

Salesforce nutzt SageMaker-AI-Routing zur Verwaltung globaler Modellkapazitäten

Salesforce hat das regionalübergreifende Inference-Routing von Amazon SageMaker AI in sein Internal Gateway integriert, um fragmentierte Modellkapazitäten in mehr als 30…