Meta beschreibt Intelligent Delivery für eine effizientere Anzeigenbewertung

Ein Problem bei der Rechenleistungsverteilung im Maßstab großer Sprachmodelle

Meta zufolge wachsen die Modelle für das Anzeigenranking schneller in Richtung der Größenordnung großer Sprachmodelle, als die verfügbare Hardware mit ihnen Schritt halten kann. Da eine zusätzliche Einheit Rechenleistung je nach Anzeigenanfrage, Modell, Chip und Systemzustand unterschiedlich wirken kann, hat das Unternehmen Intelligent Delivery entwickelt, um Ressourcen auf Aufgaben mit dem höchsten Grenznutzen zu lenken.

Das System ist für eine Bereitstellungsumgebung mit begrenzter Kapazität und einem engen Latenzbudget ausgelegt. Meta zufolge hat es zusätzlich zu den Fortschritten bei Modellen und Systemen von 2017 bis zur ersten Hälfte von 2026 an den wichtigsten Oberflächen eine Verbesserung der Leistung beim Anzeigenranking um etwa 10 % beigetragen.

Das Unternehmen beschreibt Intelligent Delivery als adaptive Optimierungsschicht, die Ressourcen kontinuierlich über Anfragen, Modelle, Hardwareflotten und Rankingstufen verteilt. Ziel sei, dass sich das Bereitstellungssystem weiter einem globalen Optimum annähert, während sich Nutzerverhalten, Modelle und der Bereitstellungs-Stack verändern.

Anfragen auf Einzelebene ersetzen grobe Segmente

Die erste Fähigkeit, Request Understanding, schätzt, welche Anzeigenanfragen wahrscheinlich von zusätzlicher Rechenleistung profitieren und wie sich unterschiedliche Ressourceneinstellungen auf Ergebnisse, Rechenverbrauch und Latenz auswirken können. Nach Angaben von Meta wurden Anfragen im früheren Ansatz anhand von Merkmalen wie Oberfläche, Kontext und Darstellung der Werbeanzeige gruppiert, wobei Ingenieure für jede Gruppe Regeln erstellten.

Diese regelbasierte Methode ließ sich nur schwer skalieren, weil jedes neue Signal die Zahl der Regeln vervielfachte. Meta zufolge verbesserte sich die Erkennung der Anzeigenanfragen mit der größten Wirkung in Offline-Benchmarks auf den wichtigsten Oberflächen um etwa 20 % gegenüber dem bisherigen Produktionsmodell, nachdem die Aufgabe als zwei maschinelle Lernprobleme neu formuliert worden war.

Im Zentrum dieser Schicht steht das Resource Core Model. Meta beschreibt es als eine Gruppe von Deep-Learning-Modellen mit 6B spärlich aktivierten Parametern und 20M dichten Parametern. Die Modelle laufen einmal vor dem Abruf von Kandidaten und werden über den gesamten Bereitstellungs-Funnel hinweg gemeinsam genutzt. Dabei verwenden sie gelernte Embeddings und tiefe Merkmalsinteraktionen, um Anfrage-Muster zu erfassen. Anschließend werden spezialisierte Modelle feinabgestimmt, um Signale zu Ergebnis, Rechenverbrauch und Einfluss auf die Latenz zu erzeugen.

Eine Hierarchie verteilt Ressourcen über den Bereitstellungs-Stack

Meta zufolge kann ein einzelner Verteilungsmechanismus die global verteilte und heterogene Infrastruktur nicht durchgängig steuern. Intelligent Delivery nutzt daher eine Hierarchie von Entscheidungs-Engines, die Rechenzentrumsregionen, Hardwarezuweisungen und die Ressourcenverteilung innerhalb einzelner Hosts abdeckt.

Auf regionaler Ebene kann die Infrastruktur in Echtzeit den Datenverkehr innerhalb eines Zeitraums von Minuten zwischen Regionen verschieben. Nach Angaben des Unternehmens berücksichtigt dies Unterschiede bei Datenverkehr, Kapazität, Hardware-Mix und Reserven. Ziel ist, dass die marginale Kapazitätseinheit in allen Regionen eine ähnlich hohe Effizienz erreicht.

Auch die Hardwareauswahl ist auf die jeweilige Arbeitslast zugeschnitten. Metas Flotte umfasst CPUs von Intel, AMD und Arm, Beschleuniger von NVIDIA und AMD sowie den eigenen Meta Training and Inference Accelerator, kurz MTIA, in mehreren Generationen. Da Abruf, Ranking und Modellinferenz durch unterschiedliche Ressourcen begrenzt werden, misst Meta die Effizienz für jede Kombination aus Arbeitslast und Hardware, bevor knappe Kapazitäten zugewiesen werden.

Innerhalb eines Hosts prognostiziert das System in Echtzeit das erwartete Ergebnis, die Rechenkosten und die Latenzkosten jeder Anfrage. Anschließend löst es unter einem harten SLO für die Tail-Latenz ein Optimierungsproblem mit Nebenbedingungen. Wenn die Auslastung steigt, wird laut Meta zunächst rechenintensive Arbeit mit geringerer Wirkung zurückgefahren.

Warum das System für Metas Anzeigeninfrastruktur wichtig ist

Intelligent Delivery adressiert ein Problem, das mit größeren Modellen, umfangreicheren Kandidatenmengen und komplexeren Bereitstellungsarchitekturen beim Ranking schwieriger wird. Meta zufolge kann die Rechenleistung nicht so schnell skalieren wie die Komplexität von Modellen und Systemen. Deshalb sei eine effizientere Bereitstellung ebenso wichtig wie der Bau leistungsfähigerer Modelle.

Das Framework reicht von der Planung auf Kernel-Ebene bis zu Thread-Pools auf Anwendungsebene. Es deckt außerdem Entscheidungen ab, etwa wie viele Anzeigen in jeder Stufe bewertet werden und welche Kandidaten in den Pool gelangen. Für die Nutzerinnen und Nutzer von Metas Apps und Diensten besteht der Zweck laut Unternehmen darin, fortschrittliche Modelle für das Anzeigenranking effizient in der Produktion auszuführen und jede Einheit Rechenleistung für bessere Anzeigen einzusetzen.