Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

PyTorch-Team integriert SGLang in weniger als einer Woche mit IBM Spyre

12. November 2026, 15:45Von der KI Nachrichten RedaktionQuelle: PyTorch
PyTorch-Team integriert SGLang in weniger als einer Woche mit IBM Spyre
Bild: PyTorch

Ein Zweierteam integrierte SGLang in weniger als einer Woche mit IBM Spyre und entwickelte mithilfe von KI-Coding-Agenten ein Open-Source-Plugin mit rund 1.500 Zeilen. Laut PyTorch erreichte SGLang mit torch-spyre etwa den 3,6-fachen Durchsatz einer PyTorch-Referenzimplementierung für Inferenz.

Das Wichtigste in Kürze
  • Ein Zweierteam integrierte SGLang in weniger als einer Woche mit IBM Spyre.
  • Das Open-Source-Plugin umfasst rund 1.500 Zeilen Code.
  • SGLang erreichte mit torch-spyre etwa den 3,6-fachen Durchsatz einer PyTorch-Referenzimplementierung.
  • SGLang lag bei den gemessenen Workloads mit Granite 3.3 8B und Gemma 4 26B A4B auf dem Niveau von vLLM.
  • Die Präfixfreigabe über RadixCache funktionierte ohne Spyre-spezifische Änderungen.

Eine kurze Integration auf Basis bestehender Software

Das Team wollte SGLangs Serving-Stack einschließlich der integrierten Präfixfreigabe für Nutzer von IBMs Spyre-Beschleuniger für Enterprise-KI-Inferenz verfügbar machen. Spyre ist über torch-spyre in PyTorch integriert. Dabei wird der Beschleuniger als PyTorch-Gerät registriert und mit torch.compile verbunden.

Die vorhandene PyTorch-Hardwareunterstützung und SGLangs Erweiterungspunkte begrenzten den Umfang des erforderlichen neuen Codes. KI-Coding-Agenten nutzten bestehende PyTorch-Implementierungen von Spyre-Operationen als Referenz und passten anschließend den Integrationscode an SGLangs Backend-Schnittstellen an. Ihre Aufgabe bestand vor allem darin, die etablierte Hardwareunterstützung mit dem Serving-Framework zu verbinden.

Das Ergebnis war ein Plugin mit rund 1.500 Zeilen. Vier kleine Patches erweiterten die Backend-Unterstützung von SGLang. Zwei davon machten bestehende Ausführungspfade ohne CUDA-spezifische Abhängigkeiten zugänglich. Die anderen beiden registrierten Spyre als unterstütztes Gerät und als Attention-Backend, das Triton nicht verwendet. Die Kompatibilitätsänderungen könnten auch andere Beschleuniger unterstützen, während die Registrierungsänderungen spezifisch für Spyre sind.

Leistung im Vergleich zu PyTorch und vLLM

Laut PyTorch erreichte SGLang auf Spyre etwa den 3,6-fachen Durchsatz der PyTorch-Referenzimplementierung für Inferenz mit torch-spyre. Das Team verglich SGLang auf Spyre außerdem mit vLLM anhand von Granite 3.3 8B und Gemma 4 26B A4B.

Über die für diese beiden Modelle gemessenen Workloads hinweg lag die Leistung von SGLang auf dem Niveau von vLLM. Dem Beitrag zufolge wurde die relative Leistung auf vLLM = 1,0 normiert, wobei niedrigere Werte eine bessere Leistung darstellen.

Die Integration übernahm Attention-Code aus dem bestehenden vLLM-Spyre-Backend, einschließlich der Verarbeitung von Eingabebuckets und Tensorformen. Auch den PyTorch-basierten Ansatz des Backends zur Zuweisung des KV-Cache verwendete das Team weiter. Bestehende Spyre-Implementierungen für RMSNorm, SiLU, GeLU, rotatorische Einbettungen und lineare Schichten wurden an SGLangs Operator-Dispatch angebunden.

Was der Ansatz für Spyre-Nutzer bedeutet

Einige SGLang-Funktionen erforderten keine Spyre-spezifischen Änderungen. RadixCache, das die Präfixfreigabe ermöglicht, wird von SGLangs Scheduler verarbeitet, bevor die Ausführung den Beschleuniger erreicht. Daher funktionierte die bestehende Scheduling-Logik unverändert. Auch SGLangs geräteunabhängiger KV-Pool benötigte lediglich eine einzelne Methodenüberschreibung für die Erstellung von Puffern. Die Zuweisung musste jedoch weiterhin über PyTorch erfolgen, wo der bestehende Pfad auf Triton setzte.

Das Plugin ist zusammen mit dem Upstream-Projekt SGLang als Open Source verfügbar. Laut PyTorch sollen künftige Softwareänderungen für Spyre in den kommenden Monaten dynamische Formen hinzufügen und damit einen Teil der heute erforderlichen Verwaltung von Formen reduzieren. Später in diesem Jahr erwartet das Team außerdem Triton-Unterstützung für Spyre sowie darauf aufbauend RadixAttention.

Für Nutzer bietet die Arbeit eine Möglichkeit, SGLangs Serving-Stack auf Spyre auszuführen und dabei die gemeinsame PyTorch-Unterstützung sowie Funktionen wie die Präfixfreigabe beizubehalten. Für Entwickler stellt der Beitrag die Integration als wiederholbares Modell vor: Hardwareunterstützung in PyTorch belassen und Serving-Frameworks über definierte Erweiterungspunkte anbinden.

Ähnliche Meldungen

PyTorch und TorchTitan trainieren ein MoE-Modell mit 1 Billion Parametern auf JUPITER
Forschung12. November 2026, 13:00

PyTorch und TorchTitan trainieren ein MoE-Modell mit 1 Billion Parametern auf JUPITER

Das EUROPA-Konsortium hat nach eigenen Angaben das Pretraining eines Mixture-of-Experts-Modells mit rund 1 Billion Parametern auf JUPITER skaliert, einem öffentlich…

PyTorch betreibt Metas 816B Muse Spark Open auf einem TPU-v7-Host
Für Entwickler10. November 2026, 17:45

PyTorch betreibt Metas 816B Muse Spark Open auf einem TPU-v7-Host

PyTorch zufolge lässt sich Metas Mixture-of-Experts-Modell Muse Spark Open mit 816B Parametern auf einem einzelnen TPU-v7-Host mit vier Chips betreiben. Das System nutzt…

vLLM übernimmt stabile LibTorch-ABI für einfachere PyTorch-Upgrades
Für Entwickler6. November 2026

vLLM übernimmt stabile LibTorch-ABI für einfachere PyTorch-Upgrades

vLLM hat seinen CUDA-Build auf die stabile LibTorch-ABI von PyTorch umgestellt. Damit funktionieren die stabilen v0.33.0-CUDA-Wheels mit LibTorch-ABI über kompatible…