Netflix zeigt, wie es LLM-Richter mit Menschen im Prozess aufbaut und überwacht

Warum der Richter einen Lebenszyklus braucht

Teams, die Texte in großem Umfang mit einem LLM erzeugen, können nicht jede Ausgabe von Hand prüfen. Die gängige Antwort ist LLM-as-a-Judge: ein zweites Modell, das die Ausgabe des ersten bewertet und menschliche Bewerter ersetzt. Netflix zufolge ist das schnell, günstig und einfach einzusetzen, wirft aber eine Frage auf: „Wer bewertet den Bewerter?“ Wenn der Richter abdriftet und schlechte Ausgaben durchwinkt, schlägt weiter unten in der Kette nichts Alarm.

Netflix beantwortet das mit einem Grundsatz, den das Unternehmen direkt formuliert: „Ein LLM-Richter darf niemals allein arbeiten. Er muss in menschlichem Urteil verankert sein.“ In jeder Phase bleibt ein Mensch beteiligt. Menschen legen fest, was „gut“ bedeutet, erstellen die gelabelten Benchmark-Daten, überwachen den Richter im Betrieb und geben jedes Update vor dem Rollout frei.

Der Testfall: Begründungen für Empfehlungen

Das Beispiel ist eine kurze Nachricht, die zusammen mit einem empfohlenen Titel auf dessen Detailseite erscheint und erklärt, warum er auf Grundlage des bisherigen Sehverhaltens vorgeschlagen wurde. Netflix konzentriert sich auf Begründungen auf Basis von Ähnlichkeit. Sie verknüpfen einen empfohlenen Titel über gemeinsame Merkmale wie Genre und Tonalität mit genau einem Referenztitel. Der Beitrag nennt dieses Beispiel: eine lustige, herzliche Weihnachtsromanze über Liebe und Neuanfänge, ganz ähnlich wie „My Secret Santa“.

Laut Netflix stammen die Ergebnisse aus kontrollierten Online-Experimenten mit echten Nutzern, darunter ein einmonatiger Test in der Netflix-App für Mobilgeräte. Ein LLM erzeugte pro Woche Hunderttausende solcher Begründungen für einen sich ständig verändernden Katalog, ein zweites LLM bewertete sie. Der Ansatz zum Aufbau, Abgleich und zur Überwachung des Richters lasse sich laut Netflix auf andere Aufgaben übertragen.

Vier Phasen und vier automatisierte Komponenten

Der Lebenszyklus besteht aus vier Phasen:

• Geburt: Experten entwerfen schwierige Grenzfälle, menschliche Bewerter labeln sie mit „bestanden“ oder „durchgefallen“ und schriftlicher Begründung. Von einem LLM erzeugte Graubereichsbeispiele ergänzen den Datensatz.
• Training: Der Richter wird darauf abgestimmt, den menschlichen Labels und Begründungen zu entsprechen. Per Selbstreflexion findet er Abweichungen und passt sein Bewertungsraster an, bis die Kennzahlen eine ausreichende Übereinstimmung zeigen.
• Einsatz: Der Richter fungiert als Schranke und als Kritiker. Er lässt Begründungen passieren oder blockiert sie und liefert dem Generator eine Erläuterung, mit der dieser sich selbst verbessern und es erneut versuchen kann.
• HITL-Abgleich und Drift-Überwachung: Jede Woche bewerten Menschen eine Stichprobe aus bestandenen und blockierten Begründungen, mit Schwerpunkt auf neueren Einträgen, und der Richter wird mit ihnen verglichen. Überschreitet die Drift einen Schwellenwert, beginnen Nachtraining und Erweiterung der Benchmark.

Durch diese Phasen laufen vier automatisierte Komponenten. Der Generator schreibt den Text. Der Richter gibt ein Bestanden/Durchgefallen-Label mit Begründung zurück. Der Reflektor überarbeitet das Bewertungsraster des Richters anhand abweichender Beispiele, menschlicher Begründungen und Ankerbeispiele, bewertet die Begründungen aber nicht selbst. Der Meta-Richter prüft, ob der Richter eine Begründung aus dem richtigen Grund durchfallen ließ, indem er dessen Erläuterung mit der eines menschlichen Bewerters vergleicht.

Eine eigene Benchmark und das Problem „richtige Antwort, falscher Grund“

Netflix zufolge konzentrieren sich Standard-Benchmarks auf allgemeine Textbewertung und verfehlen das Besondere der eigenen Aufgabe. Die Begründungen sind kurz, beziehen sich auf einen Zieltitel sowie einen oder zwei Referenztitel und werden an Netflix' eigenem redaktionellem Maßstab gemessen. Das Unternehmen baute seine Benchmark aus von Experten entworfenen adversarialen Fällen, von LLMs synthetisierten und von Menschen bewerteten Grenzbeispielen sowie echten Begründungen auf, die der Generator in Testläufen erzeugt hatte.

Die Benchmark ist nicht eingefroren. Die Monitoring-Pipeline ergänzt wöchentlich einen frischen Schwung menschlich bewerteter Begründungen, sodass sie dem aktuellen Katalog und der aktuellen Nutzung folgt. Jedes Durchgefallen-Label trägt außerdem eine frei formulierte Begründung, mit der Netflix die Argumentation des Richters abstimmt und prüft.

Danach wendet sich der Beitrag einem Fehlermodus zu, den Kennzahlen zur Label-Übereinstimmung übersehen: Ein Richter kann beim Label mit Menschen übereinstimmen und es dennoch aus dem falschen Grund vergeben. Genau diesen Fall soll der Meta-Richter abfangen. Der vorliegende Auszug endet, als diese Diskussion beginnt.

Was das für Teams bedeutet, die eigene Richter bauen

Der Beitrag richtet sich an Teams, die eigene LLM-Richter entwickeln. Seine Botschaft: Ein Richter ist kein statisches Artefakt. Er muss auf verlässlichen menschlichen Labels aufbauen, an menschlicher Argumentation ausgerichtet sein, nach menschlich festgelegten Vorgaben laufen und gepflegt werden, während sich Daten und Nutzung verändern. Übereinstimmung bei den Labels allein genügt nicht, denn auch die Gründe hinter einem Urteil müssen geprüft werden.