Netflix senkt Kosten für Faktenprüfung von Inhaltsangaben um 52,4 %

Warum die Genauigkeit von Inhaltsangaben wichtig ist

Eine Inhaltsangabe vermittelt Zuschauern einen kurzen Eindruck davon, was sie von einer Serie oder Folge erwarten können. Netflix verwendet sowohl Inhaltsangaben auf Serienebene, die eine übergreifende Handlung beschreiben, als auch Inhaltsangaben auf Folgenebene, die einzelne Episoden zusammenfassen.

Nach Angaben des Netflix Technology Blog müssen diese Beschreibungen genügend Informationen liefern, damit Zuschauer entscheiden können, ob sie eine Serie oder Folge ansehen möchten, zugleich aber einen Teil der Spannung bewahren. Außerdem müssen sie faktisch korrekt sein. Bei der Größenordnung von Netflix ist es nicht praktikabel, Inhaltsangaben für Tausende Titel, mehrere Folgen pro Staffel und zahlreiche Sprachen von Hand zu prüfen.

Der bisherige Faktenprüfungsdienst des Unternehmens gibt einem Reasoning-Modell Informationen zu einem Titel, darunter Metadaten und Textinhalte, und bittet es anschließend, eine Inhaltsangabe anhand eines detaillierten Kriterienkatalogs zu bewerten. Netflix zufolge hatte die frühere Methode zwei große Probleme: teure Abfragen mit sehr langen Kontexten sowie Begründungen, die häufig nicht mit der Argumentation menschlicher Annotatoren übereinstimmten.

Irreführende Beschreibungen erkennen, nicht nur falsche Fakten

Die Beispiele von Netflix zeigen, dass Faktenprüfung mehr umfasst als das Erkennen von Aussagen, die eindeutig falsch sind. Eine Inhaltsangabe kann einzelne korrekte Details enthalten und dennoch einen irreführenden Eindruck von einer Serie vermitteln.

Als Beispiel nennt das Unternehmen eine Inhaltsangabe, die sich auf Lady Whistledowns Klatschblatt in Bridgerton konzentriert. Lady Whistledown veröffentlicht zwar tatsächlich ein solches Blatt, doch die Beschreibung könnte bei neuen Zuschauern den Eindruck erwecken, die Figur stehe im Mittelpunkt der Serie und nicht Daphne Bridgertons Erfahrungen auf dem Londoner Heiratsmarkt.

Netflix verweist außerdem auf Beschreibungen, die Daphne und den Duke of Hastings korrekt erwähnen, aber nahelegen, ihre Beziehung beginne als unmittelbare Liebesaffäre. Nach Angaben des Unternehmens verkennen solche Beschreibungen, dass ihre Beziehung mit einer vorgetäuschten, für beide Seiten vorteilhaften Vereinbarung beginnt. Das System soll sowohl diese subtilen Fehler als auch offensichtlichere sachliche Probleme erkennen.

Konfidenzschwellen und spezialisierte Prüfer

Die frühere Pipeline führte für jedes Urteil fünf Abfragen an ein großes Reasoning-Modell mit Kontexten von mehr als 100k Tokens durch. Die Analyse von Netflix ergab, dass wiederholte Abfragen vor allem bei nuancierten Fällen nützlich waren, in denen das Modell zu unterschiedlichen Urteilen kommen konnte. Bei offensichtlich richtigen oder falschen Inhaltsangaben waren die Ergebnisse dagegen meist konsistent.

Die neue Pipeline bittet das Modell zunächst, neben seinem Urteil und seiner Begründung auch ein Konfidenzniveau anzugeben. Fälle mit hoher Konfidenz können zusätzliche, unnötige Prüfungen vermeiden, während Fälle mit niedriger Konfidenz genauer untersucht werden. Netflix bezeichnet dies als konfidenzgesteuerte Version seines ganzheitlichen Modells.

Bei schwierigeren Fällen ersetzt das Unternehmen identische, wiederholte Prüfer durch spezialisierte Prüfer. Der Literal Judge prüft, ob eine Inhaltsangabe wörtlich wahr ist. Der Implicature Judge untersucht, ob sie bei einer Person, die die Serie nicht gesehen hat, ein falsches Bild erzeugt. Netflix zufolge funktioniert dieser gezielte Ansatz besser, als wiederholt denselben allgemeinen Prüfer abzufragen.

Im eigens entwickelten Benchmark von Netflix, der von menschlichen Annotatoren mit Faktenurteilen und Begründungen versehene Inhaltsangaben enthält, stieg Recall-Fail von 0.77 auf 0.86. Außerdem berichtet das Unternehmen, dass die Übereinstimmung der Erklärungen mit den Begründungen der Menschen rund 82 % erreichte, nach etwa 69 % zuvor. Damit kann Netflix Inhaltsangaben kostengünstiger prüfen und zugleich die Entscheidungen und Erklärungen des Systems besser an seine fachkundigen Prüfer angleichen.