AWS macht SGLang-Neuron für Trainium öffentlich verfügbar

AWS zufolge ist SGLang-Neuron jetzt über einen von RadixArk in Zusammenarbeit mit Annapurna Labs veröffentlichten AWS Deep Learning Container öffentlich verfügbar. Das Plugin bringt die SGLang-Modellbereitstellung und Reinforcement-Learning-Rollouts auf AWS Trainium und erhält dabei die bestehende SGLang-Schnittstelle.
- SGLang-Neuron ist über einen AWS Deep Learning Container öffentlich verfügbar.
- Das Plugin bringt SGLang-Bereitstellung und RL-Rollouts auf AWS Trainium.
- Native PyTorch-Operationen und Kernel des Neuron Kernel Interface übernehmen den Ausführungspfad.
- Bei der PD Disaggregation wird der Prompt-KV-Cache über NIXL und EFA zwischen Servern übertragen.
- Die Anleitung von AWS verwendet eine Trainium3-EC2-Instanz und das Modell openai/gpt-oss-120b.
SGLang-Workflow erreicht AWS Trainium
SGLang-Neuron ermöglicht es Nutzern, Modelle bereitzustellen und mit SGLang auf AWS Trainium Reinforcement-Learning- beziehungsweise RL-Rollouts zu erzeugen. Laut AWS können Nutzer Modelle über die Serverschnittstelle von SGLang starten und den Endpunkt mit denselben Generierungs-APIs aufrufen, die auch in bestehenden SGLang-Workflows verwendet werden.
Trainium ist das Portfolio von AWS an KI-Chips für Training und Inferenz in großem Maßstab. AWS zufolge läuft die SGLang-Integration unterhalb der vertrauten Bereitstellungsschnittstelle auf nativem PyTorch. Das Out-of-Tree-Plugin-Design ermöglicht es, die Trainium-Unterstützung und den SGLang-Kern unabhängig voneinander weiterzuentwickeln.
So funktioniert die Trainium-Integration
SGLang-Neuron verbindet SGLang über ein Plugin mit Trainium. Bei der Installation wird die Neuron-Plattform über die Plugin-Einstiegspunkte von SGLang registriert. Mit SGLANG_PLATFORM=neuron wird die Plattform beim Start des Servers ausgewählt.
Der SGLang-Kern stellt weiterhin den API-Server, den Anfragelebenszyklus, RadixAttention und die Verwaltung des Präfix-Caches bereit. Das Plugin übernimmt Trainium-spezifische Modelle, Attention, Mixture of Experts (MoE) und den Graph Runner.
TorchNeuron registriert Trainium als natives PyTorch-Gerät. SGLang-Neuron nutzt für den Modellausführungspfad standardmäßige PyTorch-Operationen sowie mit dem Neuron Kernel Interface geschriebene Kernel. Diese Operationen und Kernel werden mit torch.compile kompiliert und anschließend während der Bereitstellung über den Graph Runner vorbereitet und ausgeführt.
Prefill und Decode lassen sich trennen
SGLang-Neuron unterstützt außerdem die Disaggregation von Prefill und Decode, die als PD Disaggregation bezeichnet wird. Dabei berechnet ein Prefill-Server den Key-Value-Cache der Eingabeaufforderung und überträgt ihn über NIXL via Elastic Fabric Adapter (EFA) an einen Decode-Server.
Der Decode-Server erzeugt die verbleibenden Tokens. AWS zufolge verwenden beide Server weiterhin den Scheduler und den Anfragelebenszyklus von SGLang, während das Plugin die Trainium-Ausführung und den Übertragungspfad für den Key-Value-Cache verwaltet.
Erste Schritte mit dem öffentlichen Container
Die Anleitung von AWS verwendet eine Trainium3-Instanz von Amazon Elastic Compute Cloud (Amazon EC2) mit einem pytorch-inference-sglang-neuronx-Container. Nutzer starten den Container, rufen den SGLang-Modellserver auf und senden eine Anfrage an dessen Chat-Completions-Endpunkt.
Im Beispiel wird openai/gpt-oss-120b mit Einstellungen für Tensor- und Expertenparallelismus, einem FP8-Key-Value-Cache, einer Kontextlänge von 10240 und maximal 64 laufenden Anfragen bereitgestellt. AWS verweist für Einrichtungsanweisungen, unterstützte Modelle und Funktionen sowie validierte Konfigurationen auf den SGLang-Neuron-Einstiegsleitfaden und die Dokumentation im Repository.
Für Nutzer, die bereits mit SGLang arbeiten, bedeutet die Ankündigung, dass sie denselben Server- und Generierungs-API-Workflow auf Trainium einsetzen können. AWS lädt Nutzer außerdem ein, das Projekt mit ihren Workloads auszuprobieren, über das Repository beizutragen und Feedback zur künftigen Unterstützung von Modellen und Funktionen zu geben.


