Google veröffentlicht TPU-Leitfaden für schnellere LLM- und MoE-Workloads

Google hat den Open-Source-Leitfaden AI-Hypercomputer/tpu-codesign veröffentlicht. Er bietet hardwarespezifische Empfehlungen für das Entwickeln und Abstimmen von Modellen auf TPU-Systemen. Der Leitfaden richtet sich an große Sprachmodelle, Mixture-of-Experts-Modelle und andere hardwareintensive Workloads.
- Google hat den Open-Source-Leitfaden AI-Hypercomputer/tpu-codesign veröffentlicht.
- Der Leitfaden empfiehlt, wichtige Modelldimensionen für die systolischen TPU-Arrays an 256 auszurichten.
- LatentMoE komprimiert geroutete Tokens vor dem Versand an die Experten.
- Google maß in einem 30B-MoE-Test mit 128 Experten eine um 2.8× geringere Permute-Zeit.
- Die Empfehlungen decken Ironwood, TPU 8t, TPU 8i, TPU 8tx und TPU 8i Max ab.
Modelle an der TPU-Architektur ausrichten
Google zufolge sind TPUs für maschinelle Lern-Workloads ausgelegt und verfügen über breite systolische Arrays, dedizierte SparseCore-Engines und maßgeschneiderte Interconnect-Fabrics. Diese Merkmale können eine hohe Leistung im Verhältnis zu den Gesamtbetriebskosten ermöglichen, bringen aber auch architektonische Einschränkungen mit sich, die Entwickler beim Entwurf von Modellen berücksichtigen müssen.
Der Leitfaden behandelt Training und Inferenz auf Ironwood, das im Beitrag als TPU v7x bezeichnet wird, sowie auf künftigen TPU-Generationen. Google unterteilt die Empfehlungen in drei Gruppen: Regeln für Tensorformen, Architekturentscheidungen und Möglichkeiten zur Umsetzung von Parallelisierung. Die Regeln für Tensorformen werden als Praktiken dargestellt, die Entwickler übernehmen sollten. Architekturentscheidungen sollten dagegen durch Ablationsstudien getestet werden, da sie Zielkonflikte bei der Modellqualität mit sich bringen können.
Die Ausrichtung von Tensorformen ist eine zentrale Empfehlung
Eine der wichtigsten Regeln des Leitfadens besteht darin, Reduktions- und Ausgabedimensionen an 256 auszurichten. Damit entsprechen sie den Dimensionen des 256×256-MXU-systolischen Arrays der TPU. Google hebt insbesondere head_dim hervor und erklärt, dass Werte von 64 oder 128 das MXU bei QK-Produkten der Flash-Attention mindestens zu 50% unausgelastet lassen können.
Der Leitfaden empfiehlt head_dim = 256 mit entsprechend weniger Query- und Key-Value-Heads, wobei die Gesamtbreiten der Projektionen und die logischen KV-Cache-Bytes erhalten bleiben sollen. Laut Googles Messungen im Ironwood-Profiling steigerte die Umformung der Qwen3-30B-MoE-Attention von 32 × 128 auf 16 × 256 bei identischen Parametern und FLOPs die End-to-End-Trainingsgeschwindigkeit. Bei längeren Kontexten fielen die Zugewinne größer aus.
Google empfiehlt außerdem statische Tensorformen, da XLA jedes Programm für exakt definierte Tensorformen kompiliert. Für dynamische Workloads beschreibt der Leitfaden den Einsatz von Buckets, Maskierung und gepackten Trainingssequenzen. Dabei sollen Puffer unverändert bleiben und wechselnde Datenumfänge durch kleine Integer-Arrays dargestellt werden.
LatentMoE kann den Datenverkehr für geroutete Tokens reduzieren
Eine weitere hervorgehobene Designentscheidung ist LatentMoE. Statt jedes geroutete Token mit der vollen Breite d_model zu verteilen, projiziert LatentMoE die Tokens vor dem Versand an die Experten in eine schmalere latente Breite und projiziert sie nach dem Zusammenführen der Ergebnisse wieder zurück.
Google zufolge kann dieser Ansatz den Zugriff auf Expertengewichte und den All-to-all-Versand reduzieren. Zu den TPU-spezifischen Empfehlungen gehören das Routing auf der vollen Breite d_model vor der Komprimierung, eine latente Breite als Vielfaches von 256, FP8 für den Versand und BF16 für die schlanken Projektionen. Die Expertenparallelisierung soll auf einer kurzen 3D-Torus-Achse platziert werden.
In Googles gemessenem 30B-MoE-Test mit 128 Experten verringerte eine latente Breite von 768, beschrieben als 2.67×-Komprimierung, die Permute-Zeit auf dem Gerät um 2.8× und erhöhte den End-to-End-Trainingsdurchsatz um 14% in Tokens pro Sekunde. Der gemeldete Vergleich lag bei 322 gegenüber 270 TFLOP/s pro Chip. Die komprimierte latente Darstellung gab pro Gerät rund 25 GB Aktivierungs-HBM frei.
Für Nutzer, die ein bestehendes Modell anpassen, erklärt Google, dass sich der Parallelisierungsabschnitt des Leitfadens anwenden lässt, ohne den Checkpoint zu ändern. Die umfassenderen Regeln gelten laut dem Unternehmen außerdem für dichte LLMs, multimodale Modelle und Weltmodelle. Das begleitende Repository soll im Laufe der Zeit um modell- und workload-spezifische Inhalte erweitert werden.
Google for Developers: TPU Model Design Considerations and Optimization Guide- Google Developers Blog


