Modular baut MAX-Modul für schnellere Entwicklung und Inferenz neu

Modular hat die Module-API in seinem KI-Framework MAX neu entwickelt und verbindet eine schnellere Eager-Ausführung während der Entwicklung mit kompilierter Inferenz in der Produktion. Die überarbeitete API unterstützt außerdem verteilte Berechnungen und verwendet eine einfachere Syntax nach dem Vorbild von PyTorch.
- MAXs Module-API wurde auf einer neuen Eager-Ebene neu aufgebaut.
- Modules können per Eager-Ausführung laufen oder in optimierte Graphen kompiliert werden.
- Die Neugestaltung unterstützt Daten-, Pipeline- und Tensor-Parallelität.
- Die Legacy-Implementierung wird in Q1 2027 entfernt.
- Modular zufolge umfassen die Pläne für 2027 Quantisierung, Training und Unterstützung mehrerer Knoten.
Eine neue Ebene über MAXs Graph-Stack
MAX ist für die Inferenz in Produktionsumgebungen ausgelegt. Modular hebt dabei seinen Kompilierungs-Stack als zentralen Vorteil hervor. Dieser Stack kombiniert Architekturübergreifende Unterstützung, optimierte Mojo-Kernels, Graph-Kompilierung und eine Ausführung, die Kernel zusammenführen und den Speicher planen kann.
Das frühere Module basierte direkt auf MAXs Graph-Stack. Laut Modular bot dieses graphzentrierte Design eine hohe Leistung, erschwerte jedoch die Entwicklung. Das Unternehmen hat nun eine Eager-Ebene über dem Graph-Stack eingeführt und Module auf dieser Grundlage neu aufgebaut.
Bei der Eager-Ausführung werden Ergebnisse sofort berechnet, anstatt zunächst eine aufwendige Graph-Kompilierung zu erfordern. Modular zufolge kann dies Unit-Tests, Debugging und Entwicklung beschleunigen. Das Unternehmen erklärt außerdem, dass bei der ersten Ausführung von Gemma 4 mit dem neuen Module das erste Token deutlich schneller erscheint.
Eager- und kompilierte Ausführung in einer API
Das überarbeitete Module bleibt auf die Inferenz in Produktionsumgebungen ausgerichtet. Seine integrierte Methode compile verfolgt ein Modell und kompiliert es als Graph. Dadurch kann MAX die Berechnung anhand von Informationen über das gesamte Modell optimieren.
Laut Modular führt der Graph-Compiler eine Operationsfusion durch, um den Startaufwand zu verringern, sowie Constant Folding und weitere Verschiebungen in die Initialisierungsphase, um die wiederholte Berechnung von Konstanten zu vermeiden. Außerdem plant er Ausführung und Speicher, um Puffer wiederzuverwenden, statt neue zu reservieren. Auch Shape Inference und die Verarbeitung dynamischer Shapes werden unterstützt.
Modellentwickler können ein Module daher während der Entwicklung per Eager-Ausführung aufrufen oder es vor dem Einsatz in der Produktion kompilieren. Das neue Design orientiert sich zudem an vertrauten Mustern nach dem Vorbild von PyTorch und vereinfacht sie. Entwickler benötigen keinen Aufruf von super().__init__() und können einfache Tensor-Objekte statt nn.Parameter verwenden.
Verteilte Modelle und einfachere Framework-APIs
Das neue Module unterstützt verteilte Berechnungen über mehrere Geräte hinweg. Die Abstraktionen auf niedriger Ebene von MAX können Datenparallelität, Pipeline-Parallelität und Tensor-Parallelität ausdrücken. Ein Tensor bleibt ein logisches N-dimensionales Array, kann nun aber auf mehr als einem Gerät liegen. Die Operationen folgen dabei festgelegten Sharding-Regeln.
Module ist jetzt außerdem ein Tree, eine von JAXs Pytrees inspirierte API. Das Durchlaufen des Baums hilft dabei, verbundene Modules und Tensors zu sammeln, während Tree Mapping Tensors in Graph-Gewichte umwandeln kann. Laut Modular unterstützen diese Hilfsfunktionen auch die Serialisierung und können verwendet werden, um ausgewählte Teile eines Modells zu quantisieren, etwa Expertenschichten in einem Mixture-of-Experts-Modell.
Die Neugestaltung entfernt die symbolische Weight-Klasse und den Boilerplate-Code für die Graph-Konstruktion. Kontexte für Standard-Datentypen und -Geräte können verhindern, dass Entwickler dieselben Einstellungen an jede Schicht übergeben müssen. Außerdem enthält nun jedes Module eine integrierte compile-Methode.
Die Legacy-Implementierung bleibt in max.nn.legacy erhalten und soll in Q1 2027 entfernt werden. Modular empfiehlt für die Migration sein Tutorial zum Model Bringup Workflow und erklärt, dass die Pläne für 2027 Quantisierung, Training und Unterstützung mehrerer Knoten umfassen.
Modular: Modular: Reintroducing MAX’s Module


