Modal Clusters sind allgemein verfügbar: Multi-Node-GPU-Zugriff mit einer einzigen Codezeile

Was Modal Clusters bieten

Modal erklärt, man habe Clusters in den vergangenen eineinhalb Jahren intensiv im Praxiseinsatz erprobt. Das Unternehmen beschreibt sie als neues Primitiv: eine Gruppe von Containern, die als eine Arbeitseinheit behandelt wird. Nutzer fordern einen Cluster an, indem sie einer Funktion @modal.clustered hinzufügen und die Zahl der Knoten sowie die Aktivierung von RDMA angeben. Im Beispiel der Ankündigung verlangt eine Funktion size=4 mit rdma=True und acht B300-GPUs pro Knoten.

Clusters funktionieren mit den bestehenden Modal-Primitiven. Checkpoints lassen sich in Volumes schreiben, Daten über Cloud Bucket Mounts laden und Jobs mit Queues orchestrieren. Darüber hinaus nennt Modal drei Funktionen:

• Kommunikation zwischen den Knoten über InfiniBand Verbs mit bis zu 6,4 Tbit/s, automatisch konfiguriert für PyTorch und NCCL
• Code läuft innerhalb von Sekunden nach der Anforderung auf dem Cluster, Abrechnung sekundengenau
• Automatisierte Absicherung und Behebung von GPU-Problemen, nun auch für den RDMA-Zustand

Dem stellt Modal den Cluster-Zugriff auf Abruf bei anderen Anbietern gegenüber, der nach eigener Aussage bedeutet, stundenweise zu zahlen oder eine Reservierung abzuschließen. Bei Modal laufen Nutzer laut Unternehmen, wann sie wollen, und zahlen nur für das, was sie verbrauchen.

Neuer Gang-Scheduler und RDMA-Unterstützung

Der bisherige Scheduler von Modal arbeite nach dem Greedy-Prinzip, so das Unternehmen: Knoten fragen nach Arbeit und entscheiden einzeln, ob sie einen Auftrag übernehmen. Für Multi-Node-Jobs sei das ungeeignet, weil die Planungseinheit von einem Knoten auf N Knoten wächst. Modal hat deshalb einen neuen Scheduler mit einer expliziten Schleife aus Beobachten, Planen und Handeln entwickelt, der die gesamte Flotte betrachtet und für jeden wartenden Cluster eine Platzierung festlegt. Die übrigen Scheduling-Systeme sollen laut Modal in dieselbe Richtung umgebaut werden.

In jedem Durchlauf sammelt der Gang-Scheduler Metadaten aller Multi-Node-Workloads, weist sie Knoten zu, gruppiert nach Verfügbarkeitszone und Netzwerk-ID, startet neue Kapazität für Workloads, die nicht passen, und sendet Zeitplanbenachrichtigungen an aktive Knoten. Da er auf denselben Kapazitätspool wie der Rest von Modal zugreift, lassen sich Cluster in Sekunden beschaffen. Das Unternehmen spricht von der schnellsten Zeit bis zu einem Multi-Node-Cluster am Markt.

RDMA sei wichtig, argumentiert Modal, weil Multi-Node-Workloads große Datenmengen bewegen. Bei jedem Trainingsschritt von GLM 4.7 müssten rund 717 GB an BF16-Gewichten vom Trainer zur Rollout-Engine synchronisiert werden. Über 50-Gbit/s-TCP dauere das fast zwei Minuten, über RDMA weniger als zwei Sekunden. Bei der Inferenz bewege die Prefill-Decode-Disaggregation mit Llama 3.1 70B pro Prompt mit 32.000 Token etwa 10 GB KV-Cache, die innerhalb eines Time-to-first-token-Budgets von wenigen hundert Millisekunden ankommen müssten.

RDMA sei schwer zu unterstützen, weil jeder Cloud-Anbieter es anders umsetze, mit unterschiedlichen Treibern, Umgebungsvariablen und Userspace-Bibliotheken. Modal verbirgt das hinter dem einen Flag rdma=True und erklärt, jeder Workload mit PyTorch und NCCL laufe ohne weitere Anpassung. Alle Knoten eines Clusters platziert Modal in einem RDMA-Fabric in einer Zone.

Modal betreibt eine Multi-Tenant-Umgebung und bevorzugt die Container-Laufzeit gVisor gegenüber runc. Da gVisor kein RDMA unterstützte, habe Modal die Unterstützung selbst entwickelt und die Änderungen upstream eingebracht, damit auch andere im Open-Source-Ökosystem Zugang zu sicherem RDMA erhalten.

Kunden und Bedeutung

Modal nennt mehrere Kunden. Decagon, das KI-Agenten für das Kundenerlebnis entwickelt, hat offene Modelle mit bis zu einer Billion Parametern mit Miles auf Modal Clusters feingetunt. Modal zufolge steuerte es LoRA-Unterstützung zu Miles bei und half, ein stabiles, offenes Trainingsrezept zu etablieren. Decagons Forschungsleiter Cyrus Asgari sagte, Modal Clusters habe "uns geholfen, in diesem Maßstab zu trainieren, sodass wir uns darauf konzentrieren konnten, die Qualität und Zuverlässigkeit unserer Agenten zu verbessern."

1x trainiert das Weltmodell hinter seinem Heimroboter NEO auf Multi-Node-B300-Clustern mit RDMA und lässt für Evaluierungen Flotten aus Single-Node-Jobs laufen. Laut Modal bewältigt derselbe Scheduler beides, sodass 1x auf Hunderte GPUs hochskalieren und wieder herunterfahren kann. Runway nutzt Clusters laut Ankündigung, um die Inferenz seiner Videomodelle Gen-4.5 und Aleph 2.0 auf mehrere Knoten zu verteilen.

Für Teams, die große Modelle trainieren oder betreiben, bietet die Veröffentlichung nach Darstellung von Modal einen Weg zu Multi-Node-GPU-Kapazität mit RDMA-Anbindung, ohne Reservierungen oder stündliche Bindung und mit sekundengenauer Abrechnung. Die Angaben zu Geschwindigkeit und Preisen stammen vom Unternehmen selbst.