Apple-Forscher trainieren erstes trimodales Masked-Diffusion-Modell von Grund auf
Apple-Forscher stellen nach eigenen Angaben die ersten trimodalen Masked Diffusion Models (MDM) vor, die von Grund auf mit Text-, Bild-Text- und Audio-Text-Daten vortrainiert wurden. Die im Oktober 2026 veröffentlichte und mit der NeurIPS verknüpfte Studie untersucht systematisch, wie sich solche Modelle gestalten lassen, und berichtet von einem vorläufigen Modell im 3B-Maßstab.
- Apple-Forscher stellen nach eigener Darstellung die ersten trimodalen Masked Diffusion Models vor, die von Grund auf mit Text-, Bild-Text- und Audio-Text-Daten vortrainiert wurden.
- Die Studie analysiert Skalierungsgesetze, Mischungsverhältnisse der Modalitäten, Noise Schedules und Batchgrößen-Effekte und liefert optimierte Standardwerte für das Sampling bei der Inferenz.
- Eine neue SDE-basierte Reparametrisierung entkoppelt physische und logische Batchgröße und macht die Abstimmung der optimalen Batchgröße überflüssig.
- Ein vorläufiges 3B-Modell, trainiert mit 6,4T Tokens, zeigt laut den Autoren starke Ergebnisse bei Textgenerierung sowie T2I- und T2S-Aufgaben.
Ein anderer Weg zur multimodalen Diffusion
Laut der Studie haben sich diskrete Diffusionsmodelle zu starken Alternativen zu autoregressiven Sprachmodellen entwickelt. Jüngere Arbeiten gingen meist von einem unimodalen Basismodell aus und passten es per Finetuning für die bimodale Generierung an. Das Apple-Team nach eigenen Angaben weicht von diesem Vorgehen ab: Statt ein bestehendes Modell anzupassen, trainiert es die trimodalen MDMs von Grund auf mit Text-, Bild-Text- und Audio-Text-Daten vor.
Die Autoren, eine große Gruppe von Apple-Forschern mit Beteiligten der University of Cambridge, des MIT und von Google DeepMind, weisen darauf hin, dass einige von ihnen ihre Arbeit abgeschlossen haben, als sie bereits bei Apple tätig waren. Die Studie ist dem Forschungsbereich Methods and Algorithms zugeordnet.
Was die Studie untersucht
Das Team analysierte nach eigenen Angaben systematisch mehrere Designentscheidungen für diese Modelle:
- multimodale Skalierungsgesetze
- Mischungsverhältnisse der Modalitäten
- Noise Schedules
- Effekte der Batchgröße
Zudem liefert die Arbeit optimierte Standardwerte für das Sampling bei der Inferenz. Die Autoren bezeichnen ihre Arbeit als die bislang größte systematische offene Studie zu multimodalen diskreten Diffusionsmodellen und sagen, sie biete Einblicke in das Skalierungsverhalten über mehrere Modalitäten hinweg.
Eine Reparametrisierung für die Batchgröße
Ein technisches Ergebnis betrifft die Batchgröße. Den Autoren zufolge führt ihre Analyse zu einer neuartigen Reparametrisierung auf Basis stochastischer Differentialgleichungen (SDE). Sie mache es überflüssig, die optimale Batchgröße einzustellen, wie es in jüngeren Arbeiten beschrieben wird.
Die Reparametrisierung entkoppelt die physische von der logischen Batchgröße. Die physische Batchgröße wird oft nach Rechenaspekten wie GPU-Auslastung, FLOP-Effizienz und Laufzeit gewählt. Die logische Batchgröße wird so gewählt, dass sie die Varianz der Gradienten bei der stochastischen Optimierung ausbalanciert. Durch die Trennung lässt sich jede Größe für ihren eigenen Zweck festlegen.
Ein vorläufiges 3B-Modell
Um zu zeigen, was ein einheitliches Design leisten kann, trainierten die Forscher ein vorläufiges Modell vor. Sie berichten von starken Ergebnissen im 3B-Maßstab, trainiert mit 6,4T Tokens, bei Textgenerierung, T2I-Aufgaben und T2S-Aufgaben. Der Quelltext nennt weder Benchmark-Werte noch Vergleiche, sodass sich die Stärke dieser Ergebnisse allein anhand des Abstracts nicht beurteilen lässt.
Was das bedeutet
Für Forschende im Bereich multimodaler Generierung bietet die Studie einen dokumentierten Einblick, wie Skalierung, Datenmischung, Noise Schedules und Batchgröße zusammenwirken, wenn Text, Bild und Audio gemeinsam in einem Diffusionsrahmen trainiert werden. Die Autoren sehen die Arbeit als Beleg dafür, dass sich diskrete Diffusion von Beginn an als einheitliches multimodales Design aufbauen lässt und nicht nur durch Finetuning unimodaler Modelle. Zu Produktplänen oder zur Verfügbarkeit äußert sich die Studie nicht.
