Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Salesforce nutzt SageMaker-AI-Routing zur Verwaltung globaler Modellkapazitäten

18. November 2026, 21:13Von der KI Nachrichten RedaktionQuelle: AWS
Salesforce nutzt SageMaker-AI-Routing zur Verwaltung globaler Modellkapazitäten
Bild: AWS

Salesforce hat das regionalübergreifende Inference-Routing von Amazon SageMaker AI in sein Internal Gateway integriert, um fragmentierte Modellkapazitäten in mehr als 30 globalen Regionen zu verwalten. Das Setup kann berechtigte Anfragen an Salesforce-Endpunkte in anderen Regionen und Konten weiterleiten, während Datenresidenzbeschränkungen unterliegender Datenverkehr in seiner ursprünglichen Region bleibt.

Das Wichtigste in Kürze
  • Salesforce stellt Modelle über mehr als 30 globale Regionen und Hunderte AWS-Konten bereit.
  • Der Router von SageMaker AI kann Anfragen an Salesforce-Endpunkte in anderen Regionen und Konten weiterleiten.
  • Anfragen mit Datenresidenzbeschränkung bleiben an ihren regionalen Endpunkt gebunden.
  • Das Routing reagiert auf Kapazitäts- und Zustandsignale, darunter Drosselungen und Zeitüberschreitungen.
  • Salesforce protokolliert die geroutete Ressource und den Routing-Grund für die operative Transparenz.

Fragmentierte Kapazitäten wurden zum Zuverlässigkeitsproblem

Das Agentforce-Foundation-Team von Salesforce stellt Modelle für Produkte wie Agentforce und die Salesforce Trust Layer bereit. Die Flotte erstreckt sich über mehr als 30 globale Regionen und Hunderte AWS-Konten. Die Kapazitäten werden entsprechend dem Datenverkehr der jeweiligen Kunden bereitgestellt.

Da sich die Spitzenzeiten der Kunden häufig überschneiden, wäre eine Ausstattung für jede mögliche gemeinsame Spitze zu teuer. Auch der regionale Ausbau kann dazu führen, dass in einigen Regionen Instanzen ungenutzt bleiben, während in anderen die Kapazitäten ausgehen. Zudem können Kunden kurzfristig neue Geschäftsbereiche anbinden, wodurch Salesforce seine Flotte schnell erweitern muss.

Vor dem Einsatz des Inference-Routers von SageMaker AI leitete das Internal Gateway von Salesforce Datenverkehr, den lokale Endpunkte nicht bewältigen konnten, in andere Regionen weiter. Das System nutzte Zustandsprüfungen, Wiederholungen und Logik zum Wechseln der Region, verfügte jedoch nicht über Kapazitätssignale lokaler und entfernter Endpunkte. Regionalübergreifende Anfragen verließen die Virtual Private Cloud außerdem über ein NAT-Gateway und ein Internet-Gateway und liefen über das öffentliche AWS-Netzwerk.

So funktioniert der Inference-Router von SageMaker AI

Ein regionalübergreifender Inference-Router ist eine regionale SageMaker-AI-Ressource im Konto eines Kunden. Eine Anwendung ruft den Router anstelle eines Endpunkts auf und verwendet dabei denselben Anfrage-Body und denselben Content-Type. Jedes Routing-Ziel steht für ein logisches Modell und führt die Endpunkte oder Inference-Komponenten auf, die dieses Modell bereitstellen können, angegeben durch ihre vollständigen Amazon Resource Names.

Die Ziele können sich in einer anderen Region oder einem anderen AWS-Konto befinden. Der Betreiber des Endpunkts gewährt den Zugriff über eine ressourcenbasierte Endpunktrichtlinie, die es einem benannten Router erlaubt, den Endpunkt aufzurufen. Der Router bevorzugt seine eigene Region und hält Anfragen dort, solange das lokale Ziel erfolgreich bedient.

Der Router bewertet die Ziele anhand der Ergebnisse kürzlich bearbeiteter Anfragen. Plattformfehler, 5xx-Fehler von Modell-Containern, Drosselungen und Zeitüberschreitungen verschlechtern den Zustand eines Ziels. Halten die Probleme an, leitet der Router einen wachsenden Anteil neuer Anfragen an gesunde Ziele weiter. Dies beginnt typischerweise innerhalb von etwa einer Minute, wobei ein Ziel mit wenig Datenverkehr mehrere Minuten benötigen kann, um zu reagieren.

Nach einer Wiederherstellung kehrt der Datenverkehr über mehrere Minuten zurück, also langsamer als beim Wegschalten. Wenn der ursprüngliche Fehler auftritt, ohne dass das Modell ausgeführt wurde, etwa bei einer Drosselung, wiederholt der Router eine Anfrage einmal bei einem anderen Ziel. Fehler durch ungültige Eingaben und die Modelllatenz lösen keine Verlagerung des Datenverkehrs aus. Der Router nutzt bereits bereitgestellte Kapazitäten, während die automatische Skalierung der einzelnen Endpunkte bei zunehmendem Datenverkehr weitere Instanzen hinzufügt.

Salesforce behält Entscheidungen zur Datenresidenz im Gateway

Salesforce platzierte den Router-Aufruf dort, wo im Egress-Pfad des Internal Gateway pro Anfrage zuvor der direkte Aufruf von InvokeEndpoint erfolgte. Das Gateway führt die Prüfung der Datenresidenz weiterhin vor dem Aufruf des Routers durch. Anfragen mit einer Datenresidenzvorgabe werden an ein regionales Routing-Ziel gebunden, dessen einziges Ziel der lokale Endpunkt ist. Dadurch wird ein Failover über eine Regionsgrenze hinweg verhindert.

Andere Anfragen verwenden den Router mit demselben Body, Content-Type und Accept-Type wie zuvor. Kapazitätsbewusstsein, Zustandsbewertung und Failover liegen nun in der Routing-Schicht statt im Anwendungscode von Salesforce. Salesforce hat außerdem eine Obergrenze für regionalübergreifenden Datenverkehr vorgesehen, um das Risiko zu verringern, dass die Verlagerung von Datenverkehr während eines Vorfalls eine andere Region überlastet.

Das Gateway protokolliert InvokedRoutedResourceArn und RoutingReason zusammen mit seinen Anfrage- und Trace-IDs und stellt sie als Tags für das Application Performance Monitoring bereit. Der ARN zeigt die Region und das Konto des Ziels an, während der Routing-Grund Ergebnisse wie local-preferred, failover, capacity-available oder only-healthy bezeichnet. Salesforce führt diese Felder mit Amazon-CloudWatch-Metriken zusammen, wenn das Unternehmen Verlagerungen des Datenverkehrs untersucht.

Bedeutung des Setups für den Betrieb der Modellbereitstellung

AWS zufolge bietet die Anordnung Salesforce einen einheitlichen Aufrufpfad über SageMaker-AI-Endpunkte in mehreren Regionen und Konten. Dabei kommen Endpunkte zum Einsatz, die Salesforce bereits bereitgestellt hat. In dem von AWS beschriebenen Beispiel erstellte Salesforce einen Router in US West, Oregon, und testete anschließend den Zugriff auf einen Endpunkt in US East, Ohio, der einem anderen Konto gehört.

Für Nutzer der Salesforce-Dienste soll das Design die Fähigkeit des Teams verbessern, ungleichmäßige Nachfrage aufzufangen, ohne jeden regionalen Kapazitätsengpass als Verfügbarkeitsproblem zu behandeln. Gleichzeitig bleiben mit einer Datenresidenzvorgabe versehene Anfragen auf ihre zugewiesene Region beschränkt. Für die Betreiber von Salesforce bieten die Routing-Felder Einblick auf Anfrageebene, wo der Datenverkehr verarbeitet wurde und warum. Das eigene Wiederholungsverhalten des Routers verhindert zudem, dass eine weitere Wiederholungsschicht im Gateway erforderlich wird.

Ähnliche Meldungen

AWS SageMaker AI ergänzt Monitoring für Drift bei Inferenz-Endpunkten
Produkte und Tools19. November 2026, 22:28

AWS SageMaker AI ergänzt Monitoring für Drift bei Inferenz-Endpunkten

Amazon SageMaker AI erkennt jetzt Latenz-Drift, unzureichend ausgelastete GPUs und verpasste Optimierungen beim Serving geeigneter Inferenz-Endpunkte für generative KI.…

AWS ergänzt regionsübergreifendes Inference-Routing für SageMaker AI
Produkte und Tools19. November 2026, 19:20

AWS ergänzt regionsübergreifendes Inference-Routing für SageMaker AI

AWS hat regionsübergreifendes Inference-Routing in Amazon SageMaker AI eingeführt. Damit erhalten Anwendungen einen einheitlichen Aufrufpfad über Modellendpunkte und…

AWS ergänzt GPU-Diagnose und Observability für SageMaker HyperPod
Produkte und Tools19. November 2026, 17:41

AWS ergänzt GPU-Diagnose und Observability für SageMaker HyperPod

AWS hat die Infrastruktur-Observability in Amazon SageMaker HyperPod erweitert und GPU-Diagnose und Profiling für verteilte Trainings-Workloads auf Amazon EKS und Slurm…