AWS ergänzt regionsübergreifendes Inference-Routing für SageMaker AI

AWS hat regionsübergreifendes Inference-Routing in Amazon SageMaker AI eingeführt. Damit erhalten Anwendungen einen einheitlichen Aufrufpfad über Modellendpunkte und Inference-Komponenten in mehreren AWS-Regionen und Konten. Der neue Inference-Router hält Anfragen nach Möglichkeit lokal und leitet neuen Datenverkehr um, wenn ein lokales Ziel nicht zuverlässig bedienen kann.
- AWS hat regionsübergreifendes Inference-Routing in Amazon SageMaker AI eingeführt.
- Der Inference-Router bevorzugt lokale Ziele und verlagert Datenverkehr, wenn diese nicht zuverlässig bedienen können.
- Routing-Ziele können Endpunkte und Inference-Komponenten über mehrere Regionen und Konten hinweg enthalten.
- Der Router wiederholt geeignete Echtzeitfehler einmal an einem anderen Ziel.
- Gesundheitszustände und Routing-Entscheidungen sind über Amazon CloudWatch und Antwortdaten verfügbar.
Verwalteter Pfad über mehrere Regionen
Vor dieser Einführung mussten Kunden, die Modelle auf verwalteten SageMaker-AI-Endpunkten betrieben, ihre eigene regionsübergreifende Routing-Logik entwickeln. Dazu gehörten das Erkennen eines problematischen Endpunkts, die Entscheidung, welche Fehler gefahrlos erneut versucht werden konnten, die Rückverlagerung des Datenverkehrs nach einer Wiederherstellung und die Verwaltung des Zugriffs auf Endpunkte in anderen Konten.
Der Inference-Router ist eine regionale SageMaker-AI-Ressource, die Anwendungen anstelle eines bestimmten Endpunkts aufrufen. Kunden registrieren die Ziele, die ein Modell bereitstellen, darunter Echtzeit-Endpunkte, Inference-Komponenten oder asynchrone Endpunkte. Ein Routing-Ziel identifiziert ein logisches Modell. Ein Router kann mehrere Routing-Ziele enthalten, die unabhängig voneinander auf andere Ziele ausweichen.
Die Endpunkte bleiben wie bisher bereitgestellt, einschließlich ihrer vorhandenen Modelle, Konfigurationen, Instanz-Pools und automatischen Skalierung. Der Router schafft keine Kapazität, skaliert keine Endpunkte, stellt keine Modelle bereit und kopiert weder Modellartefakte noch Container-Images. Jedes Ziel muss in seiner Region bereits ausgeführt werden.
So wählt SageMaker AI ein Ziel aus
Der Router bevorzugt Ziele in seiner eigenen Region. Sind mehrere lokale Ziele gesund, verteilt er die Anfragen gleichmäßig auf sie. Anfragen werden nur dann in andere Regionen verschoben, wenn lokale Ziele nicht zuverlässig bedienen können. Nach einer Wiederherstellung kehrt der Datenverkehr schrittweise zurück.
SageMaker AI berechnet anhand der jüngsten Anfragen in der jeweiligen Region des Ziels einen Gesundheitswert. Serverfehler, Drosselungen und Zeitüberschreitungen senken den Wert. Plattformfehler wie ein fehlgeschlagener Health Check wirken sich am stärksten aus. Fehler, die durch die Anfrage selbst verursacht werden, etwa ungültige Eingaben, senken den Wert nicht. Die Modell-Latenz wird nicht berücksichtigt.
Der Dienst veröffentlicht einen von drei Gesundheitszuständen in Amazon CloudWatch: gesund, überlastet oder beeinträchtigt. Ein überlastetes Ziel bedient weiterhin Anfragen, während ein Teil des Datenverkehrs umgeleitet wird. Ein beeinträchtigtes Ziel erhält den Großteil seines Datenverkehrs von anderer Stelle, behält aber einen kleinen Anteil, um die Wiederherstellung zu erkennen. Laut AWS beginnt die Verkehrsverlagerung nach etwa einer Minute anhaltender Fehler oder später bei Zielen mit wenig Datenverkehr. Kunden können weder Routing-Gewichtungen noch eine Reihenfolge für Ausweichziele festlegen.
Wiederholungen, asynchrone Anfragen und unterstützte Konfigurationen
Bei Echtzeitanfragen versucht der Router die Anfrage einmal an einem anderen Ziel erneut, wenn das erste Ziel fehlschlägt, ohne das Modell auszuführen. AWS nennt Drosselungen, einen 503-Fehler, ein noch nicht bereites Modell, die Ablehnung durch ein regionsübergreifendes Datenverkehrslimit und eine vom Ziel verweigerte Zugriffsberechtigung als Beispiele. Zeitüberschreitungen, 500-Fehler und Modellfehler werden nicht erneut versucht. Bereits laufende Anfragen werden nicht unterbrochen.
Bei asynchronen Anfragen versucht der Router jedes geeignete Ziel einmal, beginnend mit den lokalen Zielen, bis eines die Anfrage annimmt. Anwendungen verwenden InvokeInferenceRouterAsync mit dem Namen eines Routing-Ziels und einem Eingabespeicherort in Amazon Simple Storage Service.
AWS nennt als Anwendungsfälle den Umgang mit Engpässen bei der GPU-Kapazität, das Routing zwischen Endpunkten im Besitz getrennter AWS-Konten, die Bereitstellung mehrerer Modelle über einen Router sowie die Platzierung eines Routers hinter einer vorhandenen API oder einem Modell-Gateway. Direkte Aufrufe über InvokeEndpoint funktionieren weiterhin. Echtzeitantworten enthalten außerdem das Ziel, das die Anfrage bedient hat, sowie den Grund für die Routing-Entscheidung.


