Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

AWS bringt Inference-Empfehlungen in SageMaker Studio, Python SDK und Coding-Agenten

20. November 2026, 01:34Von der KI Nachrichten RedaktionQuelle: AWS
AWS bringt Inference-Empfehlungen in SageMaker Studio, Python SDK und Coding-Agenten
Bild: AWS

Amazon Web Services hat die Inference-Empfehlungen von SageMaker AI über die ursprüngliche API hinaus erweitert: Sie stehen nun in SageMaker AI Studio, im SageMaker Python SDK v3 und in Coding-Agenten zur Verfügung. Laut AWS kann das Tool jetzt auch Deployments mit LoRA-Adaptern dimensionieren und die höchste Concurrency ermitteln, die ein Endpoint unter einem Latenzziel dauerhaft verkraftet.

Das Wichtigste in Kürze
  • Inference-Empfehlungen gibt es jetzt in SageMaker AI Studio (Juli 2026) und im Python SDK v3 ab Version 3.17.0 (August 2026).
  • Die Updates vom September 2026 bringen Unterstützung für LoRA-Adapter und eine SLA-basierte Concurrency-Suche mit dem Rezept max-concurrency-under-sla.
  • Der Agent-Skill aws-ai-ml, verfügbar über das Agent Toolkit for AWS, bringt SageMaker-Inference-Expertise in Agenten wie Kiro.
  • Laut AWS dauert die Einrichtung des Skills etwa 10 Minuten, und er funktioniert mit jedem MCP-fähigen Agenten.

Empfehlungen dort, wo Entwickler ohnehin arbeiten

AWS beschreibt die Änderungen in Teil 2 seines Rückblicks auf die SageMaker-Inference-Launches des Jahres 2026. Der Beitrag begleitet ein hypothetisches Team, das einen Kundensupport-Assistenten auf Basis eines Modells mit 70 Milliarden Parametern hinter einem einzigen SageMaker-AI-Endpoint gestartet hat und im Herbst mehr Produktlinien, ein größeres Reasoning-Modell, eine zweite Region und eine gleichbleibende GPU-Rechnung braucht.

Die Inference-Empfehlungen starteten im April zunächst als API und automatisieren die Auswahl von Instanz, Container und Optimierung. Im Juli 2026 ergänzte AWS in SageMaker AI Studio einen geführten Low-Code-Workflow. Nutzer wählen ein Anwendungsprofil (Interact, Generate, Summarize oder Custom), ein Optimierungsziel (Latenz minimieren, Durchsatz maximieren oder Kosten minimieren) sowie ein Modell aus SageMaker JumpStart, Amazon S3, der Model Registry oder einem bestehenden SageMaker-Modell.

Laut AWS testet SageMaker AI anschließend Kandidatenkonfigurationen mit NVIDIA AIPerf auf echter GPU-Infrastruktur. Dabei kommen Techniken zum Einsatz, die zum Ziel passen, etwa Speculative Decoding für den Durchsatz oder Kernel-Tuning für die Latenz. Die Ergebnisse werden nach TTFT, Inter-Token-Latenz, Durchsatz und Kosten gerankt, und die gewählte Konfiguration lässt sich direkt aus Studio auf einem Echtzeit-Endpoint bereitstellen.

Im August 2026 folgte die Funktion im SageMaker Python SDK v3, ab Version 3.17.0. Teams können einen laufenden Endpoint mit ihrem eigenen Traffic benchmarken, gerankte Empfehlungen erzeugen und die beste Konfiguration mit einem einzigen Aufruf bereitstellen. Empfehlungsjobs lassen sich parallel ausführen, um Serving-Frameworks wie LMI und vLLM zu vergleichen, und ein abgeschlossener Job kann fortgesetzt werden, sodass das Deployment in einem anderen Notebook oder Pipeline-Schritt erfolgen kann, ohne die Benchmarks erneut auszuführen.

LoRA-Adapter und SLA-basierte Concurrency-Suche

Im September 2026 kam Unterstützung für LoRA-Adapter hinzu. AWS weist darauf hin, dass jeder im GPU-Speicher gehaltene Adapter die Zahl der gleichzeitigen Anfragen verringert, die ein Endpoint bedienen kann, und dass die richtige Balance von Instanztyp, Adapterzahl und Traffic-Profil abhängt. Adapter lassen sich als Model-Package-ARNs übergeben, wenn sie aus dem SageMaker-Fine-Tuning stammen, oder als S3-URIs, wenn sie aus externen Pipelines wie Hugging Face PEFT kommen.

SageMaker AI testet Kombinationen aus Adapterzahl und Concurrency und liefert gerankte Ergebnisse. Das empfohlene Deployment nutzt SageMaker Inference Components, mit je einer Komponente für das Basismodell und einer pro Adapter. So können Teams Adapter hinzufügen, aktualisieren oder entfernen, ohne das Basismodell oder andere Adapter zu beeinträchtigen.

Eine zweite Neuerung im September ist eine SLA-basierte Concurrency-Suche. Bisher wählten Teams Concurrency-Stufen von Hand, ließen einen Sweep laufen, prüften die Ergebnisse gegen das Service Level Agreement und wiederholten den Vorgang mit engerem Bereich. Jetzt setzen Nutzer search_recipe auf max-concurrency-under-sla und geben Zielwerte für eine beliebige Kombination aus maximaler TTFT, maximaler Zeit pro Ausgabetoken, maximaler Ende-zu-Ende-Latenz und maximaler Fehlerrate vor.

AIPerf beginnt mit einem breiten Bereich und grenzt ihn danach ein, ob die Testläufe bestehen oder scheitern. Laut AWS konvergiert das mit weniger Iterationen als ein linearer Sweep. Das Ergebnis nennt die größte bestandene Concurrency (feasible_max) oder, falls keine die Vorgaben erfüllt, die kleinste durchgefallene (infeasible_min). Optionale Parameter begrenzen die Kosten und beschleunigen die Konvergenz.

Ein Agent-Skill für Coding-Agenten

Im Oktober 2026 führte AWS den Skill aws-ai-ml ein, der über das Agent Toolkit for AWS verfügbar ist. Er stattet Coding-Agenten wie Kiro mit integrierter Expertise für SageMaker-AI-Inference aus. AWS argumentiert, dass ein Agent ohne fundiertes Wissen und Zugriff auf echte Benchmarks nur raten kann und eine falsche Instanzwahl sich später in verfehlten Latenzzielen oder verschwendeten Ausgaben niederschlägt.

  • Die richtige Instanz finden: gerankte Deployment-Optionen mit gemessenem Durchsatz, gemessener Latenz und TTFT für ein Modell in Amazon S3, SageMaker JumpStart oder dem Hugging Face Hub.
  • Einen laufenden Endpoint benchmarken: ein Bericht zu Durchsatz, P50- und P99-Latenz, Inter-Token-Latenz und unterstützter Concurrency.
  • Läufe vergleichen: die prozentuale Veränderung bei jeder Metrik.

Die Antworten werden als SageMaker-Python-SDK-v3-Code geliefert, den Entwickler prüfen und mit ihren eigenen Zugangsdaten ausführen. Laut AWS dauert die Einrichtung etwa 10 Minuten, und der Skill funktioniert mit jedem Agenten, der das Model Context Protocol (MCP) unterstützt, sowie in JupyterLab-Spaces von SageMaker AI Studio.

Was das für Teams mit Inference-Workloads bedeutet

In AWS' Beispiel ersetzt das Support-Team seine manuellen Sweeps vom April durch einen einzigen Empfehlungsjob für alle vier Adapter, gefolgt von einer Concurrency-Suche gegen ein TTFT-Ziel von 500 Millisekunden. Der Job lässt sich aus einem Notebook starten oder indem man einen Coding-Agenten darum bittet.

Der Beitrag leitet außerdem einen Abschnitt darüber ein, wie sich mehr Modelle auf jede GPU packen lassen. Dabei heißt es, dass Inference Components, mit denen sich mehrere Modelle einen Endpoint teilen und getrennt skalieren lassen, im Oktober 2026 in der SageMaker-AI-Konsole angekommen sind. Der Quelltext bricht an dieser Stelle ab, weitere Details werden hier daher nicht behandelt.

AWSAmazon SageMakerAmazon SageMaker AI StudioNVIDIASageMaker JumpStartInference GatewayUnternehmens-KICodingRechenzentren

Ähnliche Meldungen

AWS SageMaker AI ergänzt Monitoring für Drift bei Inferenz-Endpunkten
Produkte und Tools19. November 2026, 22:28

AWS SageMaker AI ergänzt Monitoring für Drift bei Inferenz-Endpunkten

Amazon SageMaker AI erkennt jetzt Latenz-Drift, unzureichend ausgelastete GPUs und verpasste Optimierungen beim Serving geeigneter Inferenz-Endpunkte für generative KI.…

AWS ergänzt regionsübergreifendes Inference-Routing für SageMaker AI
Produkte und Tools19. November 2026, 19:20

AWS ergänzt regionsübergreifendes Inference-Routing für SageMaker AI

AWS hat regionsübergreifendes Inference-Routing in Amazon SageMaker AI eingeführt. Damit erhalten Anwendungen einen einheitlichen Aufrufpfad über Modellendpunkte und…

AWS ergänzt GPU-Diagnose und Observability für SageMaker HyperPod
Produkte und Tools19. November 2026, 17:41

AWS ergänzt GPU-Diagnose und Observability für SageMaker HyperPod

AWS hat die Infrastruktur-Observability in Amazon SageMaker HyperPod erweitert und GPU-Diagnose und Profiling für verteilte Trainings-Workloads auf Amazon EKS und Slurm…