Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Google bringt Training mit langem Kontext über MaxText auf TPUs

9. November 2026Von der KI Nachrichten RedaktionQuelle: Google for Developers
Google bringt Training mit langem Kontext über MaxText auf TPUs
Bild: Google for Developers

Google hat Unterstützung für das Training mit langem Kontext in MaxText integriert, seinem Open-Source-JAX-Trainingsframework für Cloud TPU. Die Veröffentlichung unterstützt vier kontextparallele Strategien und kann den Trainingskontext laut Google auf TPU 5p und TPU 7 auf 14 Millionen Tokens erweitern.

Das Wichtigste in Kürze
  • MaxText v0.2.4 unterstützt das Training mit langem Kontext auf Cloud TPU.
  • Das Framework unterstützt All-gather, Ulysses, Ring Attention und USP.
  • Google meldet auf TPU 5p eine MFU von 70 Prozent bei Sequenzlängen von bis zu 4 Millionen Tokens.
  • Der Kontext kann über TPU 5p und TPU 7 auf 14 Millionen Tokens erweitert werden.
  • Alle vier Strategien verwenden Tokamax Splash Attention.

Modelle über Millionen von Tokens hinweg trainieren

Google zufolge umfasst das Training mit langem Kontext inzwischen sowohl das Vortraining als auch das nachgelagerte Training von KI-Modellen der Spitzenklasse. Größere Sequenzlängen können großen Sprachmodellen den nötigen Arbeitsspeicher geben, um ein komplettes Code-Repository zu lesen, stundenlange Videos zu verarbeiten und mehrstufige agentische Aufgaben zu bewältigen.

Laut dem Google Developers Blog sind die Kontextfenster innerhalb von drei Jahren von 128K und 200K Tokens auf 1M und 2M Tokens gewachsen, während Modelle mit einem Trainingsziel von 10M Tokens auf den Markt kommen. Das Training mit diesen Längen stellt hohe Anforderungen an die Systeme. Die Berechnung der Attention wächst quadratisch mit der Sequenzlänge, während Aktivierungen, darunter die mit jedem Token verbundenen Schlüssel und Werte, den Speicher mit hoher Bandbreite aufbrauchen können, wenn sie auf mehreren Chips repliziert werden.

MaxText begegnet diesem Problem mit Kontextparallelität. Dabei wird eine lange Sequenz auf mehrere Chips aufgeteilt, und Schlüssel sowie Werte werden gestreamt, anstatt die vollständige Sequenz auf jedem Gerät zu speichern.

Vier kontextparallele Strategien

MaxText unterstützt All-gather, A2A, auch bekannt als DeepSpeed Ulysses, P2P, auch bekannt als Ring Attention, sowie die Kombination aus A2A und P2P namens Unified Sequence Parallelism oder USP. Die Strategien setzen unterschiedliche Schwerpunkte bei Speicher, Kommunikation, Attention-Heads und Lastverteilung.

All-gather ist der einfachste Ansatz. Dabei sammelt jeder Chip in jeder Schicht Schlüssel und Werte von den anderen Chips ein. Ulysses tauscht Daten über die Dimensionen von Tokens und Attention-Heads hinweg aus. Dadurch verringert sich der von jedem Chip benötigte Schlüssel- und Wertespeicher, die Skalierung ist jedoch durch die Anzahl der Modell-Heads begrenzt. P2P sendet Schlüssel- und Werteblöcke ringförmig weiter. Jeder Chip hält dabei nur lokale und bereits besuchte Blöcke vor, während Kommunikation und Berechnung überlappen. USP kombiniert eine All-to-all-Operation auf einer Achse des Chip-Netzwerks mit einem Ring auf einer anderen Achse. Dadurch kann der Grad der Kontextparallelität über die Anzahl der Heads hinaus erweitert werden.

Alle vier Strategien verwenden Tokamax Splash Attention, Googles Open-Source-Kernel für block-sparse Flash Attention. Der Kernel überspringt vollständig maskierte Blöcke und unterstützt gepackte Sequenzen ohne Padding.

Gemeldete TPU-Leistung und Verfügbarkeit

In den Benchmarks von Google erreichte Llama 3.1 8B auf TPU 5p eine Auslastung von 70 Prozent der Model FLOPs (MFU) bei Sequenzlängen von bis zu 4 Millionen Tokens. Über TPU 5p und TPU 7 hinweg konnte der Kontext auf 14 Millionen Tokens erweitert werden. Google gibt außerdem an, dass TPU 7 bei allen Sequenzgrößen unter 6 Millionen Tokens eine MFU von 50 Prozent beibehielt.

Das Unternehmen bezeichnet P2P als primäre Strategie für das Training mit sehr langem Kontext. All-gather wird als Standard-Baseline beschrieben, wenn die Schlüssel- und Wertdaten in den Speicher passen. Auf einem festen TPU-5p-Slice mit 64 Chips vergleicht Google die Strategien bei verschiedenen Kontextlängen mit Llama 3.1 8B. Demnach kann P2P All-gather bei nahezu jeder Kontextlänge übertreffen, wenn die Blöcke und die lokale Batch-Größe ausreichend groß sind.

Die Funktionalität ist ab sofort in MaxText v0.2.4 verfügbar. Für Nutzer, die Modelle auf Cloud TPU trainieren, bietet die Veröffentlichung mehrere Möglichkeiten, lange Sequenzen über Chips zu verteilen und dabei Speicher sowie Kommunikation zu verwalten. Die gemeldeten Ergebnisse zeigen außerdem, wie Google auf die Trainingsengpässe zielt, die entstehen, wenn Modellkontexte Millionen von Tokens erreichen.

Ähnliche Meldungen

PyTorch und TorchTitan trainieren ein MoE-Modell mit 1 Billion Parametern auf JUPITER
Forschung12. November 2026, 13:00

PyTorch und TorchTitan trainieren ein MoE-Modell mit 1 Billion Parametern auf JUPITER

Das EUROPA-Konsortium hat nach eigenen Angaben das Pretraining eines Mixture-of-Experts-Modells mit rund 1 Billion Parametern auf JUPITER skaliert, einem öffentlich…

Google macht dynamisches Slicing für TPU-Workloads in GKE allgemein verfügbar
Chips und Infrastruktur9. November 2026, 14:00

Google macht dynamisches Slicing für TPU-Workloads in GKE allgemein verfügbar

Google Cloud hat das dynamische Slicing in GKE allgemein verfügbar gemacht. Damit können Kubernetes-Workloads TPU-Slices zusammenstellen und partitionieren, ohne feste…

AMD-EPYC-CPUs betreiben Googles vertrauliche TPU-8tx-Infrastruktur
Chips und Infrastruktur9. November 2026, 14:00

AMD-EPYC-CPUs betreiben Googles vertrauliche TPU-8tx-Infrastruktur

Prozessoren der 5. Generation von AMD EPYC bilden die Host-Infrastruktur für Google Cloud TPU 8tx. AMD bezeichnet das System als erste Cloud-Tensor-Processing-Unit mit…