PyTorch und TorchTitan trainieren ein MoE-Modell mit 1 Billion Parametern auf JUPITER

Das EUROPA-Konsortium hat nach eigenen Angaben das Pretraining eines Mixture-of-Experts-Modells mit rund 1 Billion Parametern auf JUPITER skaliert, einem öffentlich finanzierten europäischen Supercomputer. Mit PyTorch und TorchTitan steigerte das Team den Durchsatz von 90 auf etwa 1.300 Tokens pro Sekunde und GPU auf 384 NVIDIA GH200 GPUs.
- EUROPA trainierte ein MoE-Modell mit 951,9 Milliarden Parametern auf dem öffentlichen Supercomputer JUPITER.
- Der Lauf nutzte 384 NVIDIA GH200 GPUs in 96 Knoten.
- Der Durchsatz stieg von 90 auf etwa 1.300 Tokens pro Sekunde und GPU.
- FlexShard reduzierte die Kommunikation für den Muon-Optimierer.
- Das Auslagern von Aktivierungen verschob Checkpoint-Daten vom HBM in den Grace-CPU-Speicher.
Training auf Frontier-Niveau mit gemeinsam genutzter Infrastruktur
Die Arbeit entstand im Rahmen der EuroHPC Frontier AI Grand Challenge. Sie sollte prüfen, ob souveräne Open-Source-KI mit gemeinsam genutzten öffentlichen Ressourcen ein Frontier-Niveau erreichen kann. Das EUROPA-Konsortium, das von Domyn sowie Fraunhofer IAIS und IIS gebildet wurde, erhielt den Auftrag, ein offenes europäisches MoE-Modell mit mindestens 400B Parametern zu entwickeln, das alle 24 offiziellen EU-Sprachen unterstützt und den EU AI Act einhält.
Das Training lief auf JUPITER, dem von EuroHPC betriebenen Exascale-Supercomputer am Forschungszentrum Jülich. Anders als die privaten Cluster, die gewöhnlich für Modelle dieser Größe eingesetzt werden, ist JUPITER eine öffentliche Forschungsinfrastruktur, die von Hunderten Projekten gemeinsam genutzt wird. Nach Angaben des Konsortiums machte dies die architektonischen Einschränkungen des Systems zu einem zentralen Bestandteil der Entwicklungsarbeit.
Ein Modell mit 951,9 Milliarden Parametern und eigene Parallelisierung
Die im Beitrag beschriebene Konfiguration umfasst insgesamt 951.9B Parameter, davon sind 32.8B pro Token aktiv. Sie verfügt über 74 Layer, eine Hidden Size von 6.144, 384 geroutete Experten mit Top-8-Routing, eine Expert Hidden Size von 1.792 und ein Vokabular mit 256.000 Einträgen. Die Sequenzlänge beim Pretraining betrug 65.536 Tokens; als Optimierer kamen Muon und AdamW zum Einsatz.
Jeder JUPITER-Booster-Knoten enthält vier NVIDIA GH200 Grace Hopper Superchips. Jeder Superchip kombiniert eine Hopper-GPU mit 96 GB HBM3 und eine 72-Kern-Grace-CPU mit 120 GB LPDDR5X. Verbunden sind sie über eine NVLink-C2C-Verbindung mit 900 GB/s. Das Konsortium nutzte 384-faches FSDP, eine vierfache Expertenparallelisierung innerhalb jedes Knotens und keine Pipeline-Parallelisierung.
Das Layout trägt den Kommunikationsgrenzen des Systems Rechnung. Inter-Node-InfiniBand bietet etwa 25 GB/s pro GPU, während die Verbindung zwischen GPU und CPU innerhalb eines Superchips 900 GB/s erreicht. Das Team hielt daher das All-to-All der MoE-Tokens auf NVLink und arbeitete daran, Kommunikation und Berechnung zu überlappen.
Änderungen an PyTorch und TorchTitan steigerten den Durchsatz
Das Konsortium entschied sich für PyTorch und TorchTitan, weil die nötige Flexibilität zur Anpassung des Pretraining-Systems geboten wurde. Eine zentrale Änderung war FlexShard, das die Parameterzuordnung für den Muon-Optimierer steuert. Durch die Aufteilung der Experten nach vollständigen Experten konnten die Ranks Newton-Schulz-Iterationen für diese Matrizen ohne Kommunikation ausführen. Indem der Optimierer auf der GPU lief, während die Parameter weiterhin auf Grace ausgelagert waren, sank die Optimierungszeit von 41,7 auf 2,2 Sekunden. Der Durchsatz stieg dadurch von 441 auf 597 Tokens pro Sekunde und GPU.
Das Team ergänzte außerdem das Auslagern von Aktivierungs-Checkpoints auf Grace. Bei 65.536 Tokens benötigten die Boundary-Aktivierungen etwa 55 GiB pro GPU. Ihre Speicherung im CPU-Speicher machte HBM für andere Modellzustände frei. Der Durchsatz stieg durch das Auslagern von 370 auf 508 Tokens pro Sekunde und GPU, während die Sequenzlänge mit Muon zunächst auf 49.152 Tokens und anschließend auf 65.536 Tokens wuchs.
Nach Angaben von PyTorch steigerte die kombinierte Arbeit den Durchsatz auf 384 GH200 GPUs in 96 Knoten von 90 auf etwa 1.300 Tokens pro Sekunde und GPU. Das Projekt steuerte außerdem FlexShard, Hooks zum Auslagern von Aktivierungs-Checkpoints und weitere Änderungen zu TorchTitan und PyTorch bei. Damit erhalten Nutzer dieser Projekte Zugriff auf Techniken, die für öffentliche Infrastruktur im großen Maßstab entwickelt wurden.


