Apple: Vier Mac Studios lassen Muse Spark Open mit knapp einer Billion Parametern mit über 36 Token pro Sekunde laufen

Muse Spark Open auf einem Desktop-Cluster

In einem Beitrag auf seiner Forschungsseite zum maschinellen Lernen beschreibt Apple, wie Forschende und Entwickler Modelle der Spitzenklasse lokal auf Mac-Hardware mit Apple Silicon ausführen können. Laut Apple nutzt MLX die Unified-Memory-Architektur von Apple Silicon, sodass neue Verfahren für Inferenz und Feintuning auf den eigenen Rechnern in einer privaten Umgebung laufen können.

Das zentrale Beispiel ist Muse Spark Open, das laut Apple knapp eine Billion Parameter hat. Auf einem Cluster aus vier Mac Studios erzeugt das Modell über 36 Token pro Sekunde, was Apple als "deutlich über der durchschnittlichen menschlichen Lesegeschwindigkeit" bezeichnet. Der Wert wurde auf einem Mac Studio mit M5 Ultra bei einer Kontextgröße von 8.192 Token gemessen. Zusammen mit dem Beitrag veröffentlichte Apple eine neue Version von MLX.

Muse Spark Open ist ein Mixture-of-Experts-Modell mit insgesamt 816 Mrd. Parametern, von denen 42 Mrd. aktiv sind. Apple testete es in 4-Bit-NVFP4-Präzision, die native Präzision ist BF16.

Ergebnisse auf einem einzelnen Rechner: M5 Ultra gegen M3 Ultra

Mit dem Paket MLX LM prüfte Apple drei Modelle: Muse Spark Open (816B), Mistral Medium 3.5 (128B) und Qwen 3.8 (27B). Mistral Medium 3.5 und Qwen 3.8 sind Dense-Modelle und wurden in FP8 beziehungsweise BF16 getestet. Das Unternehmen maß die Zeit bis zum ersten Token, den Generierungsdurchsatz und die Spitzenleistungsaufnahme bei Kontextgrößen von 8.192 und 65.536 Token. Apple weist darauf hin, dass agentische Anwendungen wie Coding-Tools oft große Kontexte benötigen.

Qwen 3.8 und Mistral Medium 3.5 passen auf einen einzelnen Mac Studio mit 512 GB Speicher und belegen bei einem Kontext von 65.536 Token bis zu 68 GB beziehungsweise 158 GB RAM. Apple verglich den M5 Ultra mit dem Vorgänger M3 Ultra:

• Zeit bis zum ersten Token: auf dem M5 Ultra bis zu 4,6-mal schneller, was Apple dem GPU Neural Accelerator mit seiner dedizierten Unterstützung für Matrixmultiplikation zuschreibt.
• Generierungsgeschwindigkeit: 1,6-mal mehr Token pro Sekunde, was Apple mit der Speicherbandbreite von 1,2 TB/s in Verbindung bringt, gegenüber 819 GB/s beim M3 Ultra.
• Spitzenleistung: rund 200 W beim M3 Ultra und 300 W beim M5 Ultra.

Apple argumentiert, dass dieser moderate Stromverbrauch es erlaubt, einen Mac Studio für KI-Aufgaben in jedem Zuhause und jedem Büro einzusetzen.

Ein Modell auf mehrere Macs verteilen

Muse Spark Open passt nicht auf einen einzelnen Rechner. Laut Apple wären allein für die Parameter in BF16 mehr als 1,6 TB RAM nötig. In NVFP4 sinkt der Platzbedarf auf etwa 493 GB, doch mit dem Speicher für Zwischenberechnungen während der Inferenz passt das Modell dennoch nicht auf einen einzelnen Mac Studio.

Apple beschreibt zwei Wege, wie MLX ein Modell aufteilt. Die Pipeline-Parallelisierung teilt es nach Tiefe: Ein Mac Studio führt die erste Hälfte der Schichten aus und gibt sein Ergebnis an einen zweiten Rechner weiter, der den Rest übernimmt. Apple zufolge ist das einfach umzusetzen und erfordert nur minimale Codeänderungen. Die Tensor-Parallelisierung teilt das Modell nach Breite. Abbildung 1 im Beitrag zeigt Ergebnisse für Pipeline-Parallelisierung auf zwei Mac Studios sowie für Tensor-Parallelisierung auf zwei und vier.

Beide Ansätze sind auf schnelle Verbindungen zwischen den Rechnern angewiesen. Apple zufolge führte macOS 26.2 einen RDMA-Treiber mit niedriger Latenz über Thunderbolt 5 ein. MLX ab Version 0.30.1 baut darauf auf und ergänzt Kommunikationsroutinen namens jaccl. In Apples Aufbau verbinden zwei Thunderbolt-Kabel jedes Paar von Macs, um die Bandbreite der Verbindung zu verdoppeln. Der Befehl mlx.launch startet Aufgaben über mehrere Knoten hinweg, und ein experimentelles Flag, MLX_METAL_FAST_SYNCH=1, verringert den Overhead zwischen CPU und GPU.

Apple zufolge liegt die Decode-Geschwindigkeit bei Pipeline-Parallelisierung sehr nah an der eines einzelnen Rechners, da die Schichten weiterhin nacheinander ausgewertet werden. Der Kommunikationsaufwand sei gering, weil nur Zwischenergebnisse ausgetauscht werden.

Was das für lokale KI-Arbeit bedeutet

Laut Apple rücken mit diesen Ergebnissen Modelle mit knapp einer Billion Parametern in Reichweite eines Schreibtisch-Aufbaus, wobei die Daten auf lokaler Hardware bleiben. Apple positioniert den Mac Studio mit M5 Ultra als Desktop der Wahl für Aufgaben mit sehr großen Kontexten und erklärt, dass mehrere über Thunderbolt verbundene Macs Modelle bedienen können, die für einen einzelnen Rechner zu groß sind. Die Zahlen stammen aus Apples eigenen Benchmarks mit mlx_lm.benchmark, und der Beitrag nennt keine Preise für die Hardware.