PyTorch-Team integriert SGLang in weniger als einer Woche mit IBM Spyre

Ein Zweierteam integrierte SGLang in weniger als einer Woche mit IBM Spyre und entwickelte mithilfe von KI-Coding-Agenten ein Open-Source-Plugin mit rund 1.500 Zeilen. Laut PyTorch erreichte SGLang mit torch-spyre etwa den 3,6-fachen Durchsatz einer PyTorch-Referenzimplementierung für Inferenz.
- Ein Zweierteam integrierte SGLang in weniger als einer Woche mit IBM Spyre.
- Das Open-Source-Plugin umfasst rund 1.500 Zeilen Code.
- SGLang erreichte mit torch-spyre etwa den 3,6-fachen Durchsatz einer PyTorch-Referenzimplementierung.
- SGLang lag bei den gemessenen Workloads mit Granite 3.3 8B und Gemma 4 26B A4B auf dem Niveau von vLLM.
- Die Präfixfreigabe über RadixCache funktionierte ohne Spyre-spezifische Änderungen.
Eine kurze Integration auf Basis bestehender Software
Das Team wollte SGLangs Serving-Stack einschließlich der integrierten Präfixfreigabe für Nutzer von IBMs Spyre-Beschleuniger für Enterprise-KI-Inferenz verfügbar machen. Spyre ist über torch-spyre in PyTorch integriert. Dabei wird der Beschleuniger als PyTorch-Gerät registriert und mit torch.compile verbunden.
Die vorhandene PyTorch-Hardwareunterstützung und SGLangs Erweiterungspunkte begrenzten den Umfang des erforderlichen neuen Codes. KI-Coding-Agenten nutzten bestehende PyTorch-Implementierungen von Spyre-Operationen als Referenz und passten anschließend den Integrationscode an SGLangs Backend-Schnittstellen an. Ihre Aufgabe bestand vor allem darin, die etablierte Hardwareunterstützung mit dem Serving-Framework zu verbinden.
Das Ergebnis war ein Plugin mit rund 1.500 Zeilen. Vier kleine Patches erweiterten die Backend-Unterstützung von SGLang. Zwei davon machten bestehende Ausführungspfade ohne CUDA-spezifische Abhängigkeiten zugänglich. Die anderen beiden registrierten Spyre als unterstütztes Gerät und als Attention-Backend, das Triton nicht verwendet. Die Kompatibilitätsänderungen könnten auch andere Beschleuniger unterstützen, während die Registrierungsänderungen spezifisch für Spyre sind.
Leistung im Vergleich zu PyTorch und vLLM
Laut PyTorch erreichte SGLang auf Spyre etwa den 3,6-fachen Durchsatz der PyTorch-Referenzimplementierung für Inferenz mit torch-spyre. Das Team verglich SGLang auf Spyre außerdem mit vLLM anhand von Granite 3.3 8B und Gemma 4 26B A4B.
Über die für diese beiden Modelle gemessenen Workloads hinweg lag die Leistung von SGLang auf dem Niveau von vLLM. Dem Beitrag zufolge wurde die relative Leistung auf vLLM = 1,0 normiert, wobei niedrigere Werte eine bessere Leistung darstellen.
Die Integration übernahm Attention-Code aus dem bestehenden vLLM-Spyre-Backend, einschließlich der Verarbeitung von Eingabebuckets und Tensorformen. Auch den PyTorch-basierten Ansatz des Backends zur Zuweisung des KV-Cache verwendete das Team weiter. Bestehende Spyre-Implementierungen für RMSNorm, SiLU, GeLU, rotatorische Einbettungen und lineare Schichten wurden an SGLangs Operator-Dispatch angebunden.
Was der Ansatz für Spyre-Nutzer bedeutet
Einige SGLang-Funktionen erforderten keine Spyre-spezifischen Änderungen. RadixCache, das die Präfixfreigabe ermöglicht, wird von SGLangs Scheduler verarbeitet, bevor die Ausführung den Beschleuniger erreicht. Daher funktionierte die bestehende Scheduling-Logik unverändert. Auch SGLangs geräteunabhängiger KV-Pool benötigte lediglich eine einzelne Methodenüberschreibung für die Erstellung von Puffern. Die Zuweisung musste jedoch weiterhin über PyTorch erfolgen, wo der bestehende Pfad auf Triton setzte.
Das Plugin ist zusammen mit dem Upstream-Projekt SGLang als Open Source verfügbar. Laut PyTorch sollen künftige Softwareänderungen für Spyre in den kommenden Monaten dynamische Formen hinzufügen und damit einen Teil der heute erforderlichen Verwaltung von Formen reduzieren. Später in diesem Jahr erwartet das Team außerdem Triton-Unterstützung für Spyre sowie darauf aufbauend RadixAttention.
Für Nutzer bietet die Arbeit eine Möglichkeit, SGLangs Serving-Stack auf Spyre auszuführen und dabei die gemeinsame PyTorch-Unterstützung sowie Funktionen wie die Präfixfreigabe beizubehalten. Für Entwickler stellt der Beitrag die Integration als wiederholbares Modell vor: Hardwareunterstützung in PyTorch belassen und Serving-Frameworks über definierte Erweiterungspunkte anbinden.
PyTorch: Integrating SGLang into Spyre in Under a Week with AI


