Meta Andromeda bewertet im Retrieval jetzt mehr als eine Milliarde Anzeigen pro Sekunde

Was Andromeda leistet und was sich geändert hat

Meta Andromeda ist das Machine-Learning-System hinter dem personalisierten Anzeigen-Retrieval, der ersten Stufe in Metas Pipeline für Anzeigenempfehlungen. Das Retrieval grenzt einen riesigen Pool infrage kommender Anzeigen in Millisekunden auf eine kleine Gruppe starker Kandidaten ein. Eine nachgelagerte, rechenintensivere Ranking-Stufe bewertet diese Kandidaten anschließend im Detail.

Laut Meta war die Modellqualität der Ranking-Stufe bislang zu teuer, um sie im Maßstab des Retrievals einzusetzen. Die neue Andromeda soll diese Lücke schließen. Meta zufolge bewertet das Produktivsystem nun jede infrage kommende Anzeige mit einer Modellleistung nahe dem Ranking-Niveau und liefert die besten Kandidaten mit über einer Milliarde Anzeigen pro Sekunde. Das Unternehmen spricht von einem neuen Durchsatz-Maßstab für Modelle der Retrieval-Stufe.

Für Werbetreibende bedeutet das nach Angaben von Meta automatisch bessere Ergebnisse, weil das Retrieval-System Anzeigen innerhalb desselben Latenzbudgets aus einem größeren Kandidatenpool zuordnen kann. Meta gibt zudem an, dass Andromeda seit 2025 zu einem Plus von 2,4 % bei den Conversions auf Facebook geführt hat.

Warum das Design von 2024 weiterentwickelt werden musste

Der Andromeda-Start 2024 lief auf dem NVIDIA GH200 Grace Hopper Superchip und steigerte die Modellkapazität laut Meta um vier Größenordnungen. Seitdem haben kreative Werkzeuge auf Basis generativer KI Werbetreibenden geholfen, Hunderte Millionen neuer Anzeigen zu erstellen, wodurch Metas Kandidatenpool auf ein beispielloses Maß angewachsen ist.

Meta nennt drei Engpässe:

• Modellqualität: Kleine Verbesserungen beim Retrieval können den Nutzen für Werbetreibende stark steigern, doch die Architektur von 2024 konnte sich bei tragbaren Rechenkosten nicht weiter verbessern.
• Systemdurchsatz: Das System von 2024 wertet pro GPU-Karte mehrere zehn Millionen Anzeigen pro Sekunde aus, der neue Bedarf liegt dagegen bei mehreren Milliarden Anzeigen pro Sekunde und Karte.
• Speicherbandbreite: Bei dieser Rate verursachen Zwischentensoren zwischen GPU-Kernels Speicherverkehr von Terabyte pro Sekunde, und der Transport von Anzeigen zwischen lokalen CPU-Hosts und entfernten Beschleunigern sättigt die Netzwerkverbindung.

Diese Grenzen zu überwinden, war laut Meta der Anlass für eine gemeinsame Zusammenarbeit mit NVIDIA.

Mixture-of-Experts-Architektur für das Retrieval

Die neueste Andromeda bringt durch LLMs inspiriertes Mixture-of-Experts (MoE) mit drei Architekturänderungen ins Retrieval. Auf der Nutzerseite wird aus einem einzelnen User Tower ein Ensemble spezialisierter User Towers, die als Experten fungieren. Sie greifen auf sequenzielle Anzeigen-Engagement-Ereignisse, Repräsentationen von Nutzerkohorten, aus LLMs abgeleitete semantische Merkmale und plattformübergreifende Co-Engagement-Signale zurück.

Im Candidate-Ads-Tower bezieht eine gemeinsame Kodierungsstrategie den Echtzeit-Kontext der Auslieferung ein. In der Interaktionsschicht weichen dichte neuronale Netze einem MoE-Gating-Netzwerk auf Attention-Basis, das Kandidaten an die jeweils relevantesten Nutzer-Experten leitet. Laut Metas Abbildungsbeschreibung werden nur die Top-K relevantesten Experten aktiviert, um den Relevanzwert zwischen Nutzer und Anzeige zu berechnen.

Meta berichtet, dass die Modellleistung bei rund 300-mal weniger FLOPs zur Inferenzzeit als beim Retrieval-Modell von 2024 das Ranking-Niveau annähernd erreicht. Der Durchsatz der Modellinferenz liegt auf einer einzelnen GH200-GPU bei über 10 Milliarden Anzeigen pro Sekunde. Das lässt laut Meta Spielraum, um Merkmale, Experten und Tiefe hinzuzufügen, ohne dass die GPU-Kosten im gleichen Maß steigen.

Eine fusionierte GPU-Pipeline

Das System von 2026 treibt das Co-Design mit zwei Änderungen weiter voran: Ein einzelner GPU-Kernel fusioniert Modell- und Systemlasten für jede Interaktion zwischen Nutzer und Anzeige, und eine Strategie platziert die Logik pro Anfrage gemeinsam mit den Kernels pro Nutzer-Anzeigen-Paar in einer einzigen GPU-Box.

Meta erklärt, dass das Retrieval durch die Speicherbandbreite begrenzt ist. Bei Milliarden Anzeigen pro Sekunde summiert sich selbst ein kleiner Zwischentensor pro Anzeige zu Terabyte pro Sekunde an Datenverkehr im High Bandwidth Memory. Der fusionierte Kernel führt die gesamte Berechnung pro Nutzer-Anzeigen-Paar in einem Durchlauf aus und hält Zwischenergebnisse in GPU-Registern und im Shared Memory der Thread-Blöcke, statt sie in den HBM zu schreiben. Beim Start 2024 wurden nur Operationen innerhalb der Modellausführung fusioniert. Die rund 300-fache FLOPs-Reduktion schuf den Spielraum, auch Systemarbeit außerhalb des Modells einzubeziehen. Der fusionierte Kernel läuft laut Meta nun mit über 10 Milliarden Anzeigen pro Sekunde auf einer einzelnen GH200.

Die Co-Location-Strategie zielt auf ein anderes Problem. Operationen pro Anfrage wie das Index-Matching, das die Targeting-Regeln der Werbetreibenden durchsetzt, und die Top-K-Auswahl liefen auf separaten lokalen CPU-Hosts und kommunizierten über das Netzwerk mit dem GPU-Scoring-Dienst. Bei mehreren Milliarden Anzeigen pro Sekunde sättigt allein dieser Datenverkehr laut Meta die Netzwerkverbindung.

Was das für Werbetreibende bedeutet

Nach Metas Darstellung müssen Werbetreibende nichts ändern, um zu profitieren. Das Retrieval-System kann innerhalb desselben Latenzbudgets einen größeren Anzeigenpool berücksichtigen, einschließlich der Flut KI-generierter Creatives. Meta versteht die Effizienzgewinne zudem als Spielraum für weiteres Modellwachstum, das sich nach eigener Aussage mit jedem Schritt in mehr Nutzen für Werbetreibende übersetzt. Die Zahlen im Beitrag sind Metas eigene Angaben zu seinem Produktivsystem.