Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

AWS macht SGLang-Neuron für Trainium öffentlich verfügbar

12. November 2026, 23:03Von der KI Nachrichten RedaktionQuelle: AWS
AWS macht SGLang-Neuron für Trainium öffentlich verfügbar
Bild: AWS

AWS zufolge ist SGLang-Neuron jetzt über einen von RadixArk in Zusammenarbeit mit Annapurna Labs veröffentlichten AWS Deep Learning Container öffentlich verfügbar. Das Plugin bringt die SGLang-Modellbereitstellung und Reinforcement-Learning-Rollouts auf AWS Trainium und erhält dabei die bestehende SGLang-Schnittstelle.

Das Wichtigste in Kürze
  • SGLang-Neuron ist über einen AWS Deep Learning Container öffentlich verfügbar.
  • Das Plugin bringt SGLang-Bereitstellung und RL-Rollouts auf AWS Trainium.
  • Native PyTorch-Operationen und Kernel des Neuron Kernel Interface übernehmen den Ausführungspfad.
  • Bei der PD Disaggregation wird der Prompt-KV-Cache über NIXL und EFA zwischen Servern übertragen.
  • Die Anleitung von AWS verwendet eine Trainium3-EC2-Instanz und das Modell openai/gpt-oss-120b.

SGLang-Workflow erreicht AWS Trainium

SGLang-Neuron ermöglicht es Nutzern, Modelle bereitzustellen und mit SGLang auf AWS Trainium Reinforcement-Learning- beziehungsweise RL-Rollouts zu erzeugen. Laut AWS können Nutzer Modelle über die Serverschnittstelle von SGLang starten und den Endpunkt mit denselben Generierungs-APIs aufrufen, die auch in bestehenden SGLang-Workflows verwendet werden.

Trainium ist das Portfolio von AWS an KI-Chips für Training und Inferenz in großem Maßstab. AWS zufolge läuft die SGLang-Integration unterhalb der vertrauten Bereitstellungsschnittstelle auf nativem PyTorch. Das Out-of-Tree-Plugin-Design ermöglicht es, die Trainium-Unterstützung und den SGLang-Kern unabhängig voneinander weiterzuentwickeln.

So funktioniert die Trainium-Integration

SGLang-Neuron verbindet SGLang über ein Plugin mit Trainium. Bei der Installation wird die Neuron-Plattform über die Plugin-Einstiegspunkte von SGLang registriert. Mit SGLANG_PLATFORM=neuron wird die Plattform beim Start des Servers ausgewählt.

Der SGLang-Kern stellt weiterhin den API-Server, den Anfragelebenszyklus, RadixAttention und die Verwaltung des Präfix-Caches bereit. Das Plugin übernimmt Trainium-spezifische Modelle, Attention, Mixture of Experts (MoE) und den Graph Runner.

TorchNeuron registriert Trainium als natives PyTorch-Gerät. SGLang-Neuron nutzt für den Modellausführungspfad standardmäßige PyTorch-Operationen sowie mit dem Neuron Kernel Interface geschriebene Kernel. Diese Operationen und Kernel werden mit torch.compile kompiliert und anschließend während der Bereitstellung über den Graph Runner vorbereitet und ausgeführt.

Prefill und Decode lassen sich trennen

SGLang-Neuron unterstützt außerdem die Disaggregation von Prefill und Decode, die als PD Disaggregation bezeichnet wird. Dabei berechnet ein Prefill-Server den Key-Value-Cache der Eingabeaufforderung und überträgt ihn über NIXL via Elastic Fabric Adapter (EFA) an einen Decode-Server.

Der Decode-Server erzeugt die verbleibenden Tokens. AWS zufolge verwenden beide Server weiterhin den Scheduler und den Anfragelebenszyklus von SGLang, während das Plugin die Trainium-Ausführung und den Übertragungspfad für den Key-Value-Cache verwaltet.

Erste Schritte mit dem öffentlichen Container

Die Anleitung von AWS verwendet eine Trainium3-Instanz von Amazon Elastic Compute Cloud (Amazon EC2) mit einem pytorch-inference-sglang-neuronx-Container. Nutzer starten den Container, rufen den SGLang-Modellserver auf und senden eine Anfrage an dessen Chat-Completions-Endpunkt.

Im Beispiel wird openai/gpt-oss-120b mit Einstellungen für Tensor- und Expertenparallelismus, einem FP8-Key-Value-Cache, einer Kontextlänge von 10240 und maximal 64 laufenden Anfragen bereitgestellt. AWS verweist für Einrichtungsanweisungen, unterstützte Modelle und Funktionen sowie validierte Konfigurationen auf den SGLang-Neuron-Einstiegsleitfaden und die Dokumentation im Repository.

Für Nutzer, die bereits mit SGLang arbeiten, bedeutet die Ankündigung, dass sie denselben Server- und Generierungs-API-Workflow auf Trainium einsetzen können. AWS lädt Nutzer außerdem ein, das Projekt mit ihren Workloads auszuprobieren, über das Repository beizutragen und Feedback zur künftigen Unterstützung von Modellen und Funktionen zu geben.

Ähnliche Meldungen

AWS zeigt, wie sich Coding-Agent-Anfragen mit NeMo Switchyard routen lassen
Für Entwickler13. November 2026, 23:30

AWS zeigt, wie sich Coding-Agent-Anfragen mit NeMo Switchyard routen lassen

AWS hat eine Beispielbereitstellung veröffentlicht, die Anfragen von Coding-Agenten auf Amazon Bedrock mithilfe von NVIDIA NeMo Switchyard und LiteLLM zwischen Modellen…

AWS ergänzt SageMaker HyperPod um dreistufige Data Capture
Produkte und Tools13. November 2026, 19:01

AWS ergänzt SageMaker HyperPod um dreistufige Data Capture

Amazon SageMaker HyperPod umfasst jetzt Data Capture, eine integrierte Funktion, die Eingaben und Ausgaben laufender Inferenzprozesse in Amazon S3 speichert. AWS zufolge…

Moonshot AIs Kimi K3.1 Pro Highspeed kommt auf Amazon Bedrock
Modelle11. November 2026, 02:07

Moonshot AIs Kimi K3.1 Pro Highspeed kommt auf Amazon Bedrock

Moonshot AIs Kimi K3.1 Pro Highspeed ist ab sofort auf Amazon Bedrock verfügbar. Entwickler erhalten damit Zugriff auf ein nachtrainiertes Kimi-K3-Modell mit einem…