Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

AWS bringt verwaltete NVIDIA-Dynamo-Inferenz auf SageMaker HyperPod

18. November 2026, 00:33Von der KI Nachrichten RedaktionQuelle: AWS
AWS bringt verwaltete NVIDIA-Dynamo-Inferenz auf SageMaker HyperPod
Bild: AWS

Amazon SageMaker HyperPod Inference unterstützt jetzt NVIDIA Dynamo und verbindet die verteilten Inferenzfunktionen des Open-Source-Frameworks mit der Infrastrukturverwaltung von HyperPod. AWS zufolge soll die Integration dabei helfen, große Sprachmodelle über mehrere Knoten bereitzustellen und die Prompt-Verarbeitung von der Token-Erzeugung zu trennen.

Das Wichtigste in Kürze
  • SageMaker HyperPod Inference unterstützt jetzt NVIDIA Dynamo.
  • Dynamo ermöglicht die aggregierte und disaggregierte LLM-Bereitstellung über mehrere Knoten.
  • HyperPod verwaltet GPU-Planung, Netzwerk, Zustandsüberwachung und den Austausch von Knoten.
  • AWS meldet bei einem Qwen3-Benchmark das 2,05-Fache des höchsten aggregierten Durchsatzes.
  • Nutzer können über eine DynamoGraphDeployment oder eine InferenceEndpointConfig bereitstellen.

Große Modelle und gemischte Workloads verwalten

AWS zufolge erfordert die effiziente Bereitstellung großer Sprachmodelle ausreichend GPU-Speicher und eine sorgfältige Abstimmung zwischen Prefill, bei dem Prompts verarbeitet werden, und Decode, bei dem Tokens erzeugt werden. Als Beispiel nennt das Unternehmen GLM-5.3: Dessen FP8-Gewichte überschreiten die 640 GB GPU-Speicher, die auf einer einzelnen ml.p5.48xlarge-Instanz verfügbar sind, noch bevor der für den KV-Cache und den Laufzeit-Overhead benötigte Speicher berücksichtigt wird.

Die NVIDIA-Dynamo-Unterstützung von HyperPod Inference ermöglicht Bereitstellungen über mehrere Knoten, disaggregiertes Prefill und Decode sowie KV-bewusstes Routing. Dynamo arbeitet mit Inferenz-Engines wie vLLM, SGLang und TensorRT-LLM. Bei einer disaggregierten Bereitstellung können separate Prefill- und Decode-Worker-Pools unabhängig voneinander skaliert und abgestimmt werden. Der KV-Cache wird dabei über das Elastic Fabric Adapter-Netzwerk zwischen ihnen übertragen.

Dynamo unterstützt auch aggregierte Bereitstellungen, bei denen Prefill und Decode auf demselben Worker ausgeführt werden. In beiden Varianten können die Worker auf einer Instanz laufen oder sich mithilfe von Tensor- und Pipeline-Parallelismus über mehrere Instanzen erstrecken. Der KV-bewusste Router berücksichtigt wiederverwendbare KV-Caches von Präfixen und die aktuelle Auslastung der Worker. AWS zufolge kann die Wiederverwendung von Präfixen die erneute Prompt-Berechnung reduzieren und die Zeit bis zum ersten Token verbessern. Die Berücksichtigung der Auslastung kann zudem helfen, eine Überlastung der Worker zu vermeiden.

Was HyperPod verwaltet

Das HyperPod-Inference-Add-on installiert die benutzerdefinierten Dynamo-Ressourcendefinitionen und die für die Bereitstellung und Planung des Serving-Systems erforderlichen Komponenten. Der HyperPod Inference Operator verwaltet die Bereitstellung von Endpunkten über eine InferenceEndpointConfig-Ressource. Der Dynamo Operator verwaltet dagegen die Ressourcen in einer DynamoGraphDeployment, darunter Frontends, Modell-Worker, die Anzahl der Replikate und die Ressourcenanforderungen.

Grove koordiniert zusammengehörige Pod-Gruppen, darunter Worker über mehrere Knoten und deren Skalierungsbeziehungen. Der Kubernetes AI Scheduler platziert Pods mithilfe von Gang Scheduling auf GPU-Ressourcen, sodass die für einen Worker über mehrere Knoten benötigten Pods gemeinsam eingeplant werden. AWS Deep Learning Containers stellen die Dynamo-Laufzeitumgebung bereit. Das Add-on verwaltet die Versionen der integrierten Komponenten.

HyperPod bietet außerdem eine Zustandsüberwachung für Knoten, GPUs und EFA, verwaltet den Austausch von Knoten und arbeitet mit den Orchestrierungskomponenten zusammen, um betroffene Worker neu zu erstellen. Bereitstellungen, die über eine InferenceEndpointConfig mit dynamoSpec konfiguriert wurden, können über SageMaker-Endpunkte aufgerufen werden.

Zwei Bereitstellungswege und Benchmark-Ergebnisse

Bestehende Dynamo-Nutzer können ihre eigene DynamoGraphDeployment einbringen und weiterhin die Dokumentation, Rezepte und Manifeste des Upstream-Projekts verwenden. Teams, die HyperPod Inference einsetzen, können stattdessen eine InferenceEndpointConfig mit dynamoSpec konfigurieren und dabei das ihnen bereits bekannte Konfigurationsformat und die OpenAI-kompatible Schnittstelle nutzen. Beide Wege unterstützen Bereitstellungen auf einer einzelnen Instanz und über mehrere Knoten. vLLM ist die standardmäßige Inferenz-Engine, SGLang und TensorRT-LLM stehen ebenfalls zur Verfügung.

In einem AWS-Bereitstellungsbeispiel für GLM-5.3 läuft die aggregierte Bereitstellung mit einem Modell-Worker-Replikat über zwei ml.p5.48xlarge-Instanzen und zwei Frontend-Replikaten. Ein disaggregiertes Beispiel verwendet ein Prefill-Replikat und zwei Decode-Replikate, die sich jeweils über zwei Instanzen erstrecken, also insgesamt sechs Instanzen.

AWS hat Dynamo auf HyperPod mit zwei Modellen getestet. Bei Qwen3-235B-A22B-FP8 erreichte die disaggregierte Bereitstellung mit TensorRT-LLM auf zwei p5en.48xlarge-Instanzen bei 4.000 Eingabe-Tokens und 200 Ausgabe-Tokens 207 Ausgabe-Tokens pro Sekunde und GPU. Der höchste gemessene Wert der aggregierten Bereitstellung lag bei 101. AWS gibt dies als das 2,05-Fache des aggregierten Durchsatzes an. Die getesteten Werte erfüllten dabei die AWS-Ziele für die P90-Zeit bis zum ersten Token und die mediane Generierungsgeschwindigkeit.

In einem separaten Test mit Qwen3.5-397B-A17B-FP8 und vLLM lieferte eine Konfiguration mit zwei Knoten 126,4 Ausgabe-Tokens pro Sekunde und GPU. Unter einer agentenbasierten Arbeitslast mit hoher Präfix-Wiederverwendung behielt sie 99,1 Prozent des Durchsatzes einer Konfiguration mit einem Knoten bei. Das Ergebnis veranschaulicht den von AWS beschriebenen Ansatz für Bereitstellungen über mehrere Knoten bei Modellen und Deployments, die mehr als eine Instanz benötigen.

Ähnliche Meldungen

AWS SageMaker AI ergänzt Monitoring für Drift bei Inferenz-Endpunkten
Produkte und Tools19. November 2026, 22:28

AWS SageMaker AI ergänzt Monitoring für Drift bei Inferenz-Endpunkten

Amazon SageMaker AI erkennt jetzt Latenz-Drift, unzureichend ausgelastete GPUs und verpasste Optimierungen beim Serving geeigneter Inferenz-Endpunkte für generative KI.…

AWS ergänzt GPU-Diagnose und Observability für SageMaker HyperPod
Produkte und Tools19. November 2026, 17:41

AWS ergänzt GPU-Diagnose und Observability für SageMaker HyperPod

AWS hat die Infrastruktur-Observability in Amazon SageMaker HyperPod erweitert und GPU-Diagnose und Profiling für verteilte Trainings-Workloads auf Amazon EKS und Slurm…

PyTorch-Team integriert SGLang in weniger als einer Woche mit IBM Spyre
Für Entwickler12. November 2026, 15:45

PyTorch-Team integriert SGLang in weniger als einer Woche mit IBM Spyre

Ein Zweierteam integrierte SGLang in weniger als einer Woche mit IBM Spyre und entwickelte mithilfe von KI-Coding-Agenten ein Open-Source-Plugin mit rund 1.500 Zeilen.…