Astera Labs: Modularität ist der Schlüssel, um Inferenzkapazitäten schnell aufzubauen

Die Nachfrage nach Inferenz eilt dem Ausbau davon

Der Beitrag stammt von Chris Petersen, Vice President und Technologist im Office of the CTO von Astera Labs. Er beginnt mit einer klaren These: Die Nachfrage nach Inferenz wächst schneller, als die Branche bauen kann. Laut dem Beitrag zog sich dieses Thema durch den OCP Global Summit 2026.

Petersen zitiert AMD-CEO Dr. Lisa Su, die 2026 als „das Jahr der Inferenz“ bezeichnete, mit einem 14-fachen Anstieg des agentischen Traffics in diesem Jahr. Dr. Dimitrios Ziakas, CTO von Hyve Solutions, verwies auf einen Anstieg des Token-Verbrauchs bei Google um das Siebenfache im Jahresvergleich bis Mai. Petersen folgert, dass sich Workloads, Silizium und Rechenzentrumsinfrastruktur nun im gleichen Tempo weiterentwickeln müssen und dass ein Rechenzentrumsdesign, das für 20 Jahre oder auch nur für drei festgelegt ist, inzwischen eine Belastung darstellt.

Astera Labs nennt drei Vorteile eines modularen Designs: Wiederverwendbarkeit, Flexibilität bei der Konfiguration und kürzere Markteinführungszeiten. Gemeinsame Bausteine lassen sich an vielen Stellen einsetzen, bewährte Komponenten passen sich schnell an neue Konfigurationen an, und jede erfolgreiche Installation stärkt das Vertrauen in die nächste, sodass Teams weniger Zeit für die erneute Validierung jedes Aufbaus brauchen.

Modularität vom Chip bis zum Stromnetz

Der Beitrag beschreibt, wie OCP Standards „vom Chip bis zum Netz“ setzt, und argumentiert, diese Vision sei ohne Modularität nicht praktikabel, weil kein einzelner Anbieter jede Ebene zwischen einem Chiplet und einem Rechenzentrumscampus abdeckt.

• Chip: Die Open Chiplet Economy von OCP soll wiederholbare Standards und Schnittstellen auf Siliziumebene schaffen. Eine Standardisierung der physischen Abmessungen und Schnittstellen eines I/O-Chiplets würde die Wahl zwischen mehreren Anbietern ermöglichen, da viele Beschleuniger ähnliche Anforderungen an die Verbindung haben.
• Platine und System: Christopher Blackburn von Astera Labs sprach über die Open Adapter Card (OAC), die Nachfolgerin des inzwischen sieben Jahre alten Open Accelerator Module (OAM). Die OAC ist eine senkrecht montierte Karte mit Backplane-Anschluss, hat rund das 1,75-Fache der Platinenfläche einer PCIe-Karte in voller Höhe und Länge und bietet bis zu 5 kW pro Modul bei direkter Flüssigkühlung.
• Rack und Pod: AMDs Racks Helios und Helion basieren auf dem Standard, der jetzt Open Rack Wide heißt. Die Initiative Open Data Center for AI standardisiert Pod-Abmessungen, Spezifikationen für die Verkabelung zwischen Racks und Abstände der Rack-Stellflächen. Der Beitrag erwähnt außerdem das Mt. Diablo Power-Rack-Sidecar, das Microsoft, Google und Meta gemeinsam entwickelt haben.
• Gebäude: Anlagen müssen schnell wiederholbare Strukturen sein. Der Beitrag verweist auf von Meta angekündigte Pläne für zeltartige Rechenzentrumsbauten, die jeweils in nur 3 bis 5 Monaten errichtet werden sollen.

Eine gemeinsame Softwareschicht verbindet diese Teile, so der Beitrag, und gibt Betreibern eine einheitliche Sicht, um sie zu orchestrieren, zu verwalten und zu konfigurieren.

Vom Projekt zum Produkt und die Orion-Architektur

Alex Akesson und Bill Stube von Crusoe forderten die Branche in ihrem Vortrag über werkseitig gefertigte Einheiten auf, den Rechenzentrumsbau „vom Projekt zum Produkt“ zu machen. Petersen zufolge hat die Branche hier den weitesten Weg vor sich. Jedes modulare Rack brauche ein standardisiertes Regelwerk für die physische Umsetzung beim Scale-up sowie für den Einsatz auf Pod- und Gebäudeebene.

Er weist zudem darauf hin, dass Chris Drake von IDC dafür plädierte, den Schwerpunkt von offenen Bausteinen auf integrierte Referenzarchitekturen zu verlagern, wobei sich der Erfolg an der Interoperabilität zwischen konkurrierenden Zulieferern bemisst. Petersen ergänzt, was heute gebraucht werde, seien Referenzimplementierungen auf Rack-Ebene.

Astera Labs positioniert seine Orion Rack-Scale Reference Architecture als ein solches Design. Laut dem Unternehmen ist sie Compute-agnostisch und für verschiedene XPU- und CPU-Optionen ausgelegt. Die Referenzdesigns umfassen Compute-Trays, Fabric-Trays, Memory-Trays, Compute-Boards und Link-Boards und ermöglichen ein System, das von 8 bis 160 GPUs skaliert. Das Orion Compute Board enthält einen Scorpio X-Series 320L Smart Fabric Switch, der nach Angaben des Unternehmens bis zu 89 % mehr Tokens pro s liefert; an dieser Stelle bricht der Quelltext ab.

Was das für Betreiber bedeutet

Das Argument richtet sich an Betreiber, die nicht für jede Installation bei null anfangen können, insbesondere an Anbieter von Inference-Clouds außerhalb der Hyperscaler. Für sie können bewährte, flexible Komponenten und standardisierte Umsetzungsleitfäden laut Astera Labs die Markteinführung verkürzen und die Gesamtbetriebskosten im Griff halten. Ob Orion dieses Versprechen einlöst, hängt davon ab, wie breit die Referenzarchitektur angenommen wird. Dazu äußert sich die Quelle nicht.