Microsoft stellt Maia 300 vor: 96 Beschleuniger pro Rack und ein Superpod mit 12.288 Chips

Ein System, das auf Inferenz ausgerichtet ist

Azure Maia ist nach Angaben von Microsoft von Beginn an um einen Gedanken herum entworfen worden: das gesamte System für LLM-Inferenz zu optimieren, damit jedes Watt und jeder Dollar mehr Intelligenz liefert. Maia 300 gilt als die konsequenteste Umsetzung dieses Ansatzes, bei dem Software, Silizium, Rack-Infrastruktur, Netzwerk und Rechenzentren gemeinsam als eine einzige Plattform entwickelt werden.

Das Unternehmen argumentiert, dass agentische Workloads, darunter mehrstufige Ausführung, Dekodierung mit langem Kontext und Tool-Nutzung, das Rechenprofil und die arithmetische Intensität der Inferenz verändern. Um diesen Anforderungen gerecht zu werden, müsse man Lokalität aufrechterhalten, die Rechenleistung mit ausreichend Speicherkapazität und -bandbreite versorgen, Datenbewegungen minimieren, die Kommunikation effizient skalieren und möglichst viel Leistung in das feste Strom- und Kühlbudget eines Rechenzentrums packen. Als Quelle für seinen Einblick in diese Workloads nennt Microsoft die eigenen Produkte, von Microsoft Copilot und GitHub Copilot bis zu Microsoft Foundry.

Chipdesign: Chiplets, NUMA-Speicher und geringe Präzision

Maia 200 führte die Software Defined Locally Accessed Dataflow Architecture ein, kurz SDLA. Sie trennt die Programmierung des Steuerpfads von der Ausführung des Datenpfads und lässt die Software Datenplatzierung, -bewegung, -konvertierung und Synchronisation explizit koordinieren. Maia 300 entwickelt dieses Design für Inferenz mit langem Kontext, intensivem Reasoning und hohem Dekodieranteil weiter.

• Multi-Chiplet-Layout: Die Recheneinheiten sitzen auf TSMC N2P, während Speichercontroller- und I/O-Funktionen auf separate Dies ausgelagert sind, die auf Bandbreite, Konnektivität und Kosten optimiert sind. Laut Microsoft steigt dadurch die Rechenleistung des Systems in FLOPs um 36 %, die HBM-Bandbreite verdoppelt sich auf das 2,5-Fache, und die Scale-up-Bandbreite liegt 14 % höher.
• Geringe Präzision: Erweiterte MXFP4- und Speicherformate unter 3 Bit verringern Speicherbedarf und Datenbewegung. So sind größere Modelle, längere Kontexte und mehr gleichzeitige Sitzungen im selben Leistungsbudget möglich.
• Kernel-Unterstützung: Die Vektor-Engine erhält Optimierungen für Inferenz-Kernel wie Softmax und das Casting von Daten mit niedriger Präzision.
• NUMA-Speicher: Der Speicher wechselt von einer einheitlichen zu einer nicht einheitlichen Organisation über die Chiplets hinweg. Die Daten liegen so neben den Recheneinheiten, die sie nutzen, und legen kürzere Wege zurück.
• Speicherhierarchie: Softwaregesteuerter On-Die-SRAM kombiniert sich mit acht HBM4-Stacks und liefert 288 GB Kapazität und 18 TB/s Bandbreite pro Beschleuniger.

Im Vergleich zu Maia 200 bedeutet das nach Angaben von Microsoft die 2,5-fache Speicherbandbreite, 33 % mehr Kapazität und rund die doppelte HBM-Bandbreite pro Watt.

Ein Scale-up-Fabric vom Pod bis zum Superpod

Maia 300 behandelt das Netzwerk als Erweiterung seiner Dataflow-Architektur. Der KI-Netzwerkcontroller implementiert einen eigenen KI-Transport auf Ethernet-Basis, und ein zweistufiges Netzwerk bildet einen Superpod mit bis zu 12.288 Beschleunigern.

Im Rack teilt jeder Beschleuniger seine Scale-up-Konnektivität auf direkte Verbindungen und geschaltete Pfade auf. Direkte Verbindungen koppeln zwei Beschleuniger in einem Tray, das geschaltete Fabric verbindet alle 96 Beschleuniger im Rack. Die Verbindungen im Rack sind elektrisch, um Strombedarf und Kosten zu senken. Switches der zweiten Stufe nutzen Optik, um bis zu 128 Racks zu einem Superpod zu verbinden.

• Ein einziges Kommunikationsmodell: Im Pod und im gesamten Superpod gelten dieselben Semantiken, und Beschleuniger können die Kommunikation mit jedem anderen Beschleuniger im Superpod starten, ohne den Host oder eine separate Scale-out-NIC einzubeziehen.
• Drei Latenzdomänen: Ein direkt verbundenes Paar hat die niedrigste Latenz, Beschleuniger im selben Pod sind einen Switch-Hop entfernt, Beschleuniger in verschiedenen Pods drei Switch-Hops. Die Software kann latenzempfindlichen Tensor-parallelen Verkehr lokal halten.
• Einstellbare Bandbreite: Die Aufteilung zwischen Bandbreite im Rack und rackübergreifender Bandbreite ist ein Parameter, der sich nach der Job-Verteilung richtet. Ein Beschleuniger kann bis zu 750 GB/s zu jedem Peer im Superpod treiben, wenn nur ein Teil der Beschleuniger rackübergreifend kommuniziert.
• Flexible Platzierung: Tensor-Parallelität kann innerhalb eines Racks mit 96 Beschleunigern bleiben, während Expert- und Pipeline-Parallelität mehrere Racks umspannen. Ein Job mit 64 Beschleunigern kann als vier Shards mit je 16 Beschleunigern in vier Racks laufen.
• Disaggregierte Inferenz: Prefill- und Decode-Worker lassen sich unabhängig voneinander dimensionieren und platzieren, wobei der KV-Zustand über dasselbe Fabric direkt zu den Decode-Workern wandert.
• Ausfallsicherheit: Scheduler können Hot-Spare-Kapazität in einem anderen Rack für die Software-Kernel transparent nutzen und tauschen dabei zusätzliche Pfadlatenz gegen Verfügbarkeit.

Rack-Design und Bedeutung

Im Rechenzentrumsmaßstab hängt die Effizienz laut Microsoft davon ab, wie viel nutzbare Infrastruktur innerhalb einer festen Strom- und Kühlgrenze bereitgestellt werden kann. Das Maia-300-Rack verbindet Serverlayout und -dichte, Netzwerktopologie und Switching, Strom und Kühlung sowie fortgeschrittene Telemetrie in einem gemeinsamen Design. Microsoft nennt bis zu 2,5-mal mehr Leistung pro Watt als bei Maia 200. Das Rack fasst 96 Beschleuniger in 24 Trays mit je vier Beschleunigern bei 167 kW und verdoppelt damit die Beschleunigerdichte von Maia 200.

Für Microsofts Kunden lautet das erklärte Ziel: mehr Kapazität, Leistungsfähigkeit und Performance in Produkten wie Copilot, GitHub Copilot und Foundry. Die Zahlen stammen vom Unternehmen selbst, Angaben zu Preisen oder Verfügbarkeit enthält der Quelltext nicht.