Netflix zeigt drei Wege, sein Foundation Model in die Personalisierung einzubinden

Warum Netflix das Lernen von Präferenzen zentralisiert hat

Die Netflix-Startseite wird von mehreren spezialisierten Modellen gesteuert, und Wartung und Verbesserung jedes einzelnen Modells kosten erheblich Zeit und Ressourcen. Netflix hat sich deshalb entschieden, das Lernen der Nutzerpräferenzen in einem großen Modell zu bündeln. Dieses wird auf umfassenden Interaktionsverläufen der Nutzer und auf Inhaltsdaten trainiert und gibt seine Erkenntnisse anschließend an andere Modelle weiter.

Die Autoren Divya Gadde, Ko-Jen Hsiao, Dhaval Patel und Moumita Bhattacharya erklären, es gebe viel Literatur zum Training und Betrieb großer Transformer-Modelle, aber kaum praktische Anleitungen dafür, wie sich solche Modelle in bestehende Produktionssysteme integrieren lassen. Die Teams bei Netflix haben unterschiedliche Latenzanforderungen, technische Rahmenbedingungen und unterschiedlich große Bereitschaft, die volle Leistung eines großen Modells zu nutzen. Deshalb hat das Unternehmen mehrere Ansätze ausprobiert.

Embeddings: der kostengünstige Einstieg

Der erste Ansatz setzt auf Embeddings. Netflix verwendet den Hidden State des letzten Nutzerereignisses als Profil-Embedding und die Gewichte aus dem Item Tower als Item-Embeddings. Der Aktualisierungszyklus ist aufwendig: Das Foundation Model wird jeden Monat von Grund auf neu vortrainiert und danach täglich mit den neuesten Daten feinabgestimmt. Beim täglichen Fine-Tuning wird zudem der Raum der Entity-IDs erweitert, damit neu startende Titel enthalten sind. Anschließend aktualisiert eine Batch-Inferenz die Profil- und Item-Embeddings und veröffentlicht sie im Embedding Store.

Ein zentraler Bestandteil dieses Aufbaus ist eine Technik zur Stabilisierung der Embeddings. Ein Neutraining von Grund auf erzeugt wegen der zufälligen Initialisierung zwischen den Läufen völlig unterschiedliche Embedding-Räume, und auch beim täglichen Fine-Tuning driften die Embeddings. Indem die Embeddings jedes Tages in denselben Raum abgebildet werden, können nachgelagerte Modelle vorberechnete Embeddings als Features nutzen.

Der Embedding Store ist ein Feature Store für Embeddings, den das Plattformteam von Netflix aufgebaut hat. Er übernimmt Versionierung und Zeitstempel und bietet Offline- und Online-Zugriff. Laut Netflix ist dies häufig der erste und einfachste Weg, mit niedriger Einstiegshürde und vergleichsweise geringen Auswirkungen auf die Kosten für Training und Inferenz. Der Nachteil ist die Veralterung: Die Lücke zwischen der Berechnung der Embeddings und der nachgelagerten Inferenz kann die Aktualität beeinträchtigen, besonders bei Anwendungsfällen, die Anpassungen in Echtzeit erfordern.

Netflix betrachtet Embeddings nach eigener Aussage als kostengünstige Option mit großer Hebelwirkung und hat die Investitionen in ein Framework zur Embedding-Erzeugung in nahezu Echtzeit erhöht. Dieses Framework kann Embeddings anhand von Nutzeraktionen während einer Sitzung aktualisieren, lässt sich aber nicht für sehr große Modelle einsetzen.

Subgraph und Fine-Tuning für tiefere Integration

Beim Subgraph-Ansatz wird der Decoder-Stack des Foundation Models Teil des gesamten Graphen des Anwendungsmodells. Er verarbeitet rohe Sequenzen von Nutzerinteraktionen und speist die daraus entstehenden Repräsentationen in das nachgelagerte Modell ein. Anwendungen können den Subgraph im Rahmen ihres eigenen Trainings feinabstimmen, und zwischen der Inferenz des Foundation Models und der des Anwendungsmodells gibt es keine zeitliche Lücke. Teams können außerdem bestimmte Schichten nutzen, die nicht über den Embedding Store bereitgestellt werden.

Die Kosten sind real. Anwendungsmodelle müssen alle Features erzeugen, die der Subgraph benötigt, was die Feature-Generierung zeitlich, rechnerisch und in ihrer Komplexität aufwendiger macht. Auch das Einbinden des Subgraphen vergrößert das Modell und verlängert die Inferenzzeit. Das Team des Foundation Models stellt wiederverwendbaren Code und Jobs bereit, damit die Feature-Generierung effizienter wird, und teilt den Subgraph so auf, dass er pro Profil und Anfrage nur einmal läuft und von allen Items der Anfrage gemeinsam genutzt wird. Netflix würde diesen Ansatz für Anwendungsfälle mit großer Wirkung reservieren, in denen die Verbesserung der Metriken Kosten und Komplexität rechtfertigt.

Der dritte Ansatz besteht darin, das Foundation Model feinzutrainieren und direkt einzusetzen. Das Modell wird mit einem Next-Token-Prediction-Ziel trainiert, wobei Nutzerinteraktionen als Token dienen. Verschiedene Oberflächen gewichten Interaktionen unterschiedlich: Bei der Reihe „Trending now“ können aktuelle Interaktionen mit angesagten Titeln wichtiger sein als ältere. Anwendungsteams können alle Parameter feinabstimmen oder einzelne Schichten einfrieren und einen anderen Output-Head mit einem anderen Ziel ergänzen. Netflix hat ein Fine-Tuning-Framework entwickelt, mit dem Teams eigene, angepasste Versionen des Modells erstellen können.

Was das für die Teams bei Netflix bedeutet

Der Beitrag stellt die drei Optionen als Spektrum dar. Embeddings bieten einen einfachen Einstieg, allerdings mit gewisser Veralterung. Der Subgraph ermöglicht eine aktuellere, tiefere Integration, die aber komplexer ist und mehr Rechenleistung kostet. Mit Fine-Tuning können Teams das Modell auf eine bestimmte Produktoberfläche zuschneiden. Welche Variante passt, hängt von den Latenzanforderungen, den technischen Rahmenbedingungen und dem erwarteten Nutzen des vollständigen Modells im jeweiligen Team ab.