Metas Werbemodell GEM läuft jetzt als zentrales System über alle Plattformen hinweg

Von Systemen pro Plattform zu einem zentralen Modell

Im vergangenen Jahr hat Meta GEM vorgestellt, nach eigener Darstellung das größte Foundation Model für Empfehlungssysteme (RecSys) der Branche und der erste von LLMs inspirierte Ansatz des Unternehmens für Werbeempfehlungen. Die Generation 2026 verabschiedet sich von isolierten Optimierungen für einzelne Bereiche wie Facebook, Instagram und Reels. Stattdessen lernt laut Meta ein einziges zentrales Foundation Model aus Daten und Signalen aller Werbeplattformen des Konzerns.

Das Unternehmen verweist auf die Größenordnung des Problems: Seine Apps umfassen Dutzende Plattformen, von denen täglich 3,6 Milliarden Menschen mindestens eine nutzen. Jede Plattform und jedes Optimierungsziel hatte bislang ein eigenes, unabhängiges Vorhersagesystem. GEM sagt nun Klicks und Conversions gemeinsam über alle Plattformen und die wichtigsten Werbeziele hinweg voraus, von Conversions außerhalb der Plattform bis zu Installationen mobiler Apps.

Laut Meta lassen sich Repräsentationen, die bei datenreichen Klickaufgaben gelernt wurden, auf datenarme Conversion-Aufgaben übertragen. Ein neues Trainingsverfahren mit kostenfreiem Daten-Mixing und einem Domain-Expert-Framework soll dieses große, heterogene Lernen beherrschbar machen.

Über die Spitzenwerte hinaus berichtet Meta von zusätzlichen Conversion-Zuwächsen im vergangenen Jahr: 5,8 % auf Facebook, 4,1 % auf Instagram und 1,6 % bei Conversions außerhalb der Plattform für gezielt angesprochene Nutzer.

Kunlun: eine LLM-artige Architektur für Empfehlungen

Meta argumentiert, Empfehlungsmodelle hätten bislang nicht das vorhersagbare Skalierungsverhalten gezeigt, das man von Transformer-Sprachmodellen kennt, und führt dies auf massiv heterogene Merkmale und sich verschiebende Verteilungen zurück. Als Antwort hat das Unternehmen eine LLM-artige Architektur namens Kunlun entwickelt. Sie wurde gemeinsam mit der neuesten GPU-Hardware entworfen, um größere und tiefere Modelle kosteneffizienter zu machen und Long-Context-Lernen über die Interaktionshistorie der Nutzer zu ermöglichen.

Im größten Pre-Training-Maßstab beobachtete Meta nach eigenen Angaben ein LLM-ähnliches Skalierungsgesetz mit 2,5-fachem Zuwachs der Modellkomplexität gegenüber früheren GEM-Versionen. Gegenüber der Vorgängerversion Interformer liefert Kunlun laut Unternehmen bei gleicher Skalierung der Rechenleistung doppelt so hohe Leistungsgewinne.

Meta nennt mehrere Designelemente:

• Attention: angepasste Attention- und Feed-Forward-Netze, um lange Abhängigkeiten im Nutzerverhalten zu erfassen.
• Block Attention: Blockweise ausgerichtete Sparse Attention ersetzt die volle Self-Attention und senkt die von der Sequenzlänge abhängige Komplexität von quadratisch auf linear relativ zur Fenstergröße.
• Generalized Dot-Product Attention (GDPA): Per-Example Feed-Forward Networks werden in Attention-Operationen umformuliert. Dadurch werden Attention-ähnliche Operationen in einem einzigen GPU-Kernel zusammengeführt, was den Forward-Pass um bis zu das Doppelte beschleunigt.
• Cross Interaction: ein Mixture-of-Experts-Design mit Expert Parallelism, bei dem jede GPU eine Teilmenge der Experten-Subnetze parallel verarbeitet.

Zudem beschreibt Meta einen Mechanismus namens Component Skip Connection (CompSkip), der extrem lange Sequenzen rechnerisch handhabbar machen soll.

Wissen an nutzernahe Modelle weitergeben und Training im großen Maßstab

Ein Modell dieser Größe in Echtzeit auszuliefern, sei unerschwinglich teuer und erhöhe die Latenz, erklärt Meta. Die Antwort heißt LoopFM, ein Post-Training-Verfahren, das die internen Repräsentationen und das sequenzielle Langzeitgedächtnis von GEM an nachgelagerte Modelle weitergibt. Durch geteilte Berechnung verdoppelt es laut Meta den Wissenstransfer, den die in der Vorgängerversion genutzte Knowledge Distillation erreichte, und zwar ohne zusätzlichen Rechenaufwand oder höhere Latenz. Außerdem führte das Unternehmen unter dem Namen Solaris eine elastische Vorberechnung ein, um die Gewinne des vorgelagerten Modells abzuschöpfen.

Beim Training verweist Meta darauf, dass GPUs in Rechenzentren und ihre Software-Stacks überwiegend auf LLM-Workloads optimiert sind, während Empfehlungs-Workloads ein anderes Profil haben, das eine hohe GPU-Auslastung erschwert. Das Unternehmen entwickelte eigene Kernel mit niedriger Präzision und neue 5D-Parallelisierungsstrategien, abgestimmt auf die neueste GPU-Hardware und den eigenen Trainingscluster.

Laut Meta verdoppelte sich die Ende-zu-Ende-Trainingseffizienz auf 20 bis 25 % Model FLOPS Utilization (MFU), bei 4-fachen Trainings-FLOPs über Tausende GPUs hinweg. So lasse sich GEM im LLM-Maßstab trainieren. Für die vollständige technische Darstellung verweist Meta auf einen begleitenden Blogbeitrag mit dem Titel Training GEM at LLM Scale.

Was das für Werbetreibende bedeutet

Das Ergebnis seien gleichzeitige Leistungssteigerungen bei Anzeigen über jede Plattform und jede Stufe des Funnels hinweg, von der Awareness über die Consideration bis zu Conversions, sowie ein tieferes Verständnis, das Anzeigen besser auf das abstimmt, wonach Menschen suchen. Für Werbetreibende beschreibt das Unternehmen die Zuwächse als Verbesserung sowohl bei Plattformen im oberen Funnel als auch bei Optimierungszielen im unteren Funnel, was zu höheren Erträgen führe. Alle Zahlen stammen aus Metas eigener Berichterstattung und wurden nicht unabhängig überprüft.