Astera Labs: Ein einzelner Scorpio-X-Switch steigert 8-GPU-Inferenz um bis zu 89 Prozent
Ein einzelner Scorpio X-Series 320L Smart Fabric Switch hat nach Angaben von Astera Labs in einer 8-GPU-Plattform bis zu 89 Prozent mehr Ausgabe-Tokens pro Sekunde geliefert als eine herkömmliche Topologie aus zwei 144-Lane-Switches. Die Ergebnisse des direkten Vergleichs hat das Unternehmen in einem Blogbeitrag von Helia Naeimi, Senior Director of Technology, veröffentlicht.
- Astera Labs meldet bis zu 89 Prozent mehr Ausgabe-Tokens pro Sekunde mit einem einzelnen Scorpio X-Series 320L Switch gegenüber einer Basis aus zwei 144-Lane-Switches.
- Der Test nutzte zwei gleichwertige 8-GPU-Plattformen, drei Workload-Typen, vier große Sprachmodelle und 1 bis 512 gleichzeitige Anfragen.
- Bei der höchsten Concurrency lag der Vorsprung laut Unternehmen für jede Kombination aus Modell und Workload bei mindestens 30 Prozent.
- Prefill-lastige Workloads zeigten die konstantesten Zuwächse, mit mindestens 38 Prozent über den gesamten Concurrency-Sweep.
- Die Ergebnisse sind eigene Messungen von Astera Labs.
Warum der Fabric-Switch für die Inferenz wichtig ist
Astera Labs argumentiert, dass inzwischen die Inferenz die KI-Rechenlast dominiert. Unter Berufung auf Deloitte heißt es in dem Beitrag, die Inferenz mache 2026 rund zwei Drittel der gesamten KI-Rechenleistung aus, nach etwa einem Drittel im Jahr 2023. Entsprechend konzentrieren sich Hyperscaler zunehmend darauf, profitable Tokens pro Sekunde zu erzeugen.
Der Switch, der mehrere GPUs zu einer Recheneinheit verbindet, ist dem Unternehmen zufolge ein erheblicher herkömmlicher Engpass für den Token-Durchsatz. Verfügt der Switch über genügend Radix und Bandbreite, um jeder GPU Single-Hop-Zugriff mit Line-Rate auf jede andere GPU zu geben, kann die Rechenleistung den Durchsatz mit minimalem Overhead bestimmen. Andernfalls wird das Fabric selbst zur Grenze.
Astera Labs zufolge erreichen herkömmliche PCIe-Fabric-Switches maximal rund 144 Lanes. Ein 8-GPU-Cluster benötigt bei diesem Design zwei Switches, die jeweils an einen eigenen CPU-Host angebunden sind, wobei die GPUs in zwei Vier-GPU-Domänen aufgeteilt werden. Datenverkehr zwischen den Domänen muss über einen CPU-Root-Complex umgeleitet werden, was einen zusätzlichen Host-Bridge-Hop und möglicherweise eine Inter-Socket-Übertragung über NUMA-Knoten hinweg mit sich bringt. Nach Angaben des Unternehmens begrenzt das die Bisektionsbandbreite und erhöht die Latenz jeder Transaktion, die diese Grenze überquert.
So lief der Test ab
Das Unternehmen baute zwei 8-GPU-Plattformen, die es als bis auf das Fabric gleichwertig beschreibt. Eine nutzte einen einzelnen Scorpio X-Series 320L Switch, die andere die herkömmliche Dual-144L-Topologie. Astera Labs maß die Ausgabe-Tokens pro Sekunde in einem Concurrency-Sweep von 1 bis 512 Anfragen, für drei Workload-Profile und vier große Sprachmodelle.
- Decode-lastig: 128 Tokens Eingabe, 1.024 Tokens Ausgabe (1:8). Typisch für Konversationsassistenten und das Verfassen langer Texte, begrenzt durch die Latenz pro Token.
- Prefill-lastig: 3.000 Tokens Eingabe, 3 Tokens Ausgabe (1000:1). Typisch für Inhaltsprüfung, Klassifizierung und Extraktion, sowohl rechen- als auch bandbreitenbegrenzt.
- Ausgewogen: 3.500 Tokens Eingabe, 500 Tokens Ausgabe (7:1). Typisch für agentische Workflows und Retrieval-Augmented-Antworten, bei denen Prefill und Decode um Ressourcen konkurrieren.
Was Astera Labs berichtet
Laut Astera Labs lieferte die Plattform mit Scorpio X-Series 320L für jedes getestete Modell, jeden Workload-Typ und jede Concurrency-Stufe mehr Ausgabe-Tokens pro Sekunde als die Dual-144L-Basis. Die Zuwächse reichten je nach Modell und Workload bis zu 89 Prozent.
Bei der höchsten getesteten Concurrency lag der Vorsprung nach Angaben des Unternehmens für jede Kombination aus Modell und Workload bei mindestens 30 Prozent. Die größten Zuwächse verzeichneten Dense-Modelle, die einen größeren Teil ihrer I/O über All-Gather- und Reduce-Scatter-Kollektive abwickeln.
Am konstantesten war der Vorsprung bei Prefill-lastigen Workloads: Dort lag er laut Astera Labs für jedes Modell über den gesamten Concurrency-Sweep bei mindestens 38 Prozent. Bei Decode-lastigem Traffic führte die Single-Hop-Anbindung nach Angaben des Unternehmens direkt zu mehr abgeschlossenen Tokens pro Sekunde. Bei ausgewogenen Workloads verhinderte die höhere Querschnittsbandbreite demnach, dass Lesezugriffe auf große Kontexte den Decode anderer Nutzer ausbremsen. Die Zahlen stammen aus eigenen Tests des Unternehmens.
Was das für die Wirtschaftlichkeit von KI-Fabriken bedeutet
Astera Labs folgert, dass ein Switch mit höherem Radix und Single-Hop-Anbindung überall dort, wo ein Workload die GPUs zwingt, Daten über das Fabric zu bewegen, auf denselben GPUs bei gleichem Leistungsrahmen mehr Tokens pro Sekunde liefert. Für Hyperscaler und Neoclouds, die jedes Watt und jeden Port gegen die Kosten eines Tokens abwägen, hat das dem Unternehmen zufolge direkten Einfluss auf die Profitabilität ihrer KI-Fabriken.
Der Beitrag fügt hinzu, der Test sei eines von mehreren Ergebnissen aus der Arbeit an Switches, Interconnect und Speicher. Er verweist auf einen separaten Blogbeitrag über den Einsatz von Leo X-Series Smart Memory Controllern für das KV-Cache-Offloading, um Time-to-First-Token und Tokens pro Sekunde zu verbessern.
