Netflix entwickelt Modell, das den tatsächlichen Wert von Empfehlungen misst

Warum die übliche Kennzahl nicht ausreicht

Ein naheliegender erster Ansatz, Empfehlungen zu bewerten, ist die Frage, welcher Anteil der Nutzung auf empfohlene Titel entfällt. Netflix zufolge beantwortet das die Kausalfrage nicht. Empfehlungen werden nicht zufällig vergeben: Ein Titel erscheint auf der Startseite eines Mitglieds, weil das System vorhersagt, dass das Mitglied ihn sehen möchte.

Wird ein empfohlener Titel angesehen, vermischen sich daher zwei Dinge: der Effekt der Personalisierung und die zugrunde liegenden Vorlieben des Mitglieds. Die Autoren bezeichnen das als die zentrale Messherausforderung, da Empfehlungen auf die Nachfrage zugeschnitten sind.

Die naheliegende Lösung wäre ein großes Experiment, das das personalisierte Angebot durch ein unpersonalisiertes ersetzt. Netflix hält das für eine schlechte Nutzererfahrung, weil Personalisierung für Mitglieder ein zentraler Weg ist, in einem großen Katalog wertvolle Titel zu finden. Sie breit abzuschalten, ist nach den Worten der Autoren keine akzeptable Messstrategie.

Ein Modell der täglichen Auswahl von Mitgliedern

Stattdessen wählt das Team einen hybriden Ansatz. Es baut ein Verhaltensmodell, das Präferenzen vom zusätzlichen Effekt der Empfehlungen trennt und dafür natürliche Schwankungen im Empfehlungssystem nutzt, etwa algorithmische Exploration. Die Arbeit erscheint im International Journal of Industrial Organization und wird auf der ACM Conference on Economics & Computation (EC '26) vorgestellt.

Das Modell behandelt die Nutzung als tägliche Entscheidung. Jeden Tag wählt ein Mitglied unter den verfügbaren Titeln oder entscheidet sich, nichts anzusehen. Zielgröße ist die Wahrscheinlichkeit, dass ein Mitglied an einem bestimmten Tag einen bestimmten Titel ansieht, abhängig von Präferenzen, Sehverlauf und den angezeigten Empfehlungen.

Ein einfaches Modell wäre nach Ansicht der Autoren zu restriktiv, etwa wenn es annimmt, dass das Entfernen eines Titels die Nutzung proportional auf alle anderen verteilt. In der Praxis sind die engsten Substitute einer romantischen Komödie wahrscheinlich andere romantische Komödien. Um das abzubilden, nutzen sie ein Low-Rank-Auswahlmodell, das Repräsentationen von Titeln und der aktuellen Präferenzen jedes Mitglieds aus dem Sehverhalten selbst lernt, statt aus manuell festgelegten Merkmalen wie Genre, Besetzung oder Sprache.

Präferenzen werden als dynamisch betrachtet. Das Modell fasst den bisherigen Sehverlauf eines Mitglieds zu einem aktuellen Präferenzzustand zusammen. Wer gerade einen Krimithriller beendet hat, kann sich daher in einem anderen Zustand befinden als nach einem Stand-up-Special oder einem Kinderfilm. Laut Netflix lässt sich dieses Design auf Millionen von Mitgliedern skalieren.

Die Schlüsselkomponente ist ein expliziter Empfehlungseffekt, ein sogenannter „Bonus“, der die Wahrscheinlichkeit erhöht, dass ein empfohlener Titel gewählt wird. Netflix beschreibt ihn als reduzierte Form, um zwei Mechanismen zu erfassen: Empfehlungen schaffen Aufmerksamkeit, und sie liefern Information, indem sie signalisieren, dass ein Titel wahrscheinlich gut passt.

Validierung anhand randomisierter Experimente

Das Modell geht davon aus, dass die verbleibende Variation darüber, ob ein Titel empfohlen wird, nach Berücksichtigung von Mitglied, Titel und den dem Empfehlungssystem zur Verfügung stehenden Zustandsinformationen quasi zufällig ist. Die Autoren halten das für plausibel, weil sie alle Informationen beobachten, die das Empfehlungssystem nutzt, räumen aber ein, dass es dennoch eine Annahme bleibt.

Um sie zu prüfen, führte das Team kleine randomisierte Experimente durch. Mitglieder wurden zufällig Testgruppen zugewiesen, in denen Empfehlungen leicht in Richtung bestimmter Titelkategorien oder von ihnen weg verschoben wurden. So konnten die Forscher Diversion Ratios messen: Wenn manche Titel weniger sichtbar werden, wie viel Nutzung verlagert sich auf andere Titel, und wie viel verlässt das Netflix-Angebot ganz?

Das Modell wurde auf der Kontrollgruppe geschätzt, zur Simulation derselben Änderungen verwendet und mit den Versuchsergebnissen verglichen. Netflix berichtet, dass die vorhergesagten Diversion Ratios eine Korrelation von 0,86 mit den experimentellen Schätzungen und ein R-Quadrat von 0,73 aufwiesen.

Was das bedeutet

Ist das Modell validiert, lässt es sich laut Netflix als Engine für kontrafaktische Szenarien einsetzen: Was passiert, wenn ein Titel nicht empfohlen wird, wenn andere Titel empfohlen werden oder wenn das aktuelle Empfehlungssystem durch einfachere Alternativen ersetzt wird? Da es Präferenzen der Mitglieder, Attraktivität der Titel und Empfehlungseffekte trennt, kann es sowohl die Auswirkung auf die Gesamtnutzung als auch die Verschiebung dessen schätzen, welche Titel angesehen werden.

Der vorliegende Auszug des Beitrags endet, als es um kontrafaktische Analysen zu Gesamtkonsum und Vielfalt geht, diese Ergebnisse sind hier daher nicht abgedeckt. Die veröffentlichte Beschreibung zeigt aber einen Weg, den Wert der Personalisierung zu quantifizieren, ohne sie für Mitglieder abzuschalten, indem groß angelegte Modellierung mit der Glaubwürdigkeit kleiner Experimente kombiniert wird.