Netflix baut automatisiertes Tool zum Zuschneiden von Videos für vertikale Feeds

Warum Netflix vertikale Videos in großem Umfang braucht

Netflix zufolge gewinnen vertikale Formate für das Unternehmen zunehmend an Bedeutung. Es verweist auf 1,2 Mrd. Follower in seinen Social-Media-Kanälen und auf die kürzliche Einführung von Clips, dem vertikalen Video-Feed in der mobilen Netflix-App.

Bislang bedeutete die Erstellung vertikaler Assets, dass Editoren und Produzenten horizontale Videos in Schnittprogrammen von Hand neu einrichten mussten. Dieser Prozess lasse sich nicht skalieren, wenn Katalog und Einsatzzwecke wachsen, so Netflix. Das neue System soll mit minimalem manuellem Aufwand sowohl den In-App-Feed als auch externe Marketingkampagnen bedienen.

Das Unternehmen argumentiert, dass die Umwandlung von kinoartigem 16:9-Material in mobilfreundliche Formate mehr erfordert als einen einfachen Zuschnitt aus der Bildmitte. Da beim Filmen oft dynamische Figurenbewegungen und aufwendige Kamerafahrten zum Einsatz kommen, will Netflix eine „virtuelle Kamera“, die der entscheidenden Handlung folgt und Ausschnitte liefert, die so bewusst gewählt wirken wie die ursprüngliche Einstellung.

Eine Pipeline in drei Stufen

Netflix versteht die Aufgabe als Tracking- und zeitliches Optimierungsproblem. Die Pipeline verarbeitet jedes Asset in drei Stufen und erzeugt laut Unternehmen 9:16-, 4:5- und 1:1-Zuschnitte in einem einzigen Durchlauf, ohne zusätzlichen Rechenaufwand.

• Shot-Erkennung und -Aufteilung: Ein auf neuronalen Netzen basierender Detektor für Shot-Grenzen unterteilt das Video in atomare Einstellungen. Bei Einstellungen, in denen mehrere Figuren an gegenüberliegenden Bildseiten sprechen, teilt ein Ansatz zur Active Speaker Detection eine durchgehende Einstellung in Teil-Shots auf, damit die virtuelle Kamera zwischen den Sprechenden wechseln kann. Die Erkennung nutzt einen internen Gesichtsdetektor und LipFlap und funktioniert laut Netflix sowohl bei Realfilm- als auch bei Animationstiteln.
• Ermittlung der Fokusregion: Das System kombiniert Gesichtserkennungen mit visuellen Salienzkarten, um zu priorisieren, welche Gesichter im Bild bleiben sollen. In Szenen mit mehreren Figuren werden Gesichter anhand von Signalen wie dem Status als aktiv Sprechende und der relativen Größe gewichtet. Das Modell verknüpft diese Hinweise mit einem inhaltlichen Verständnis auf Shot-Ebene, um eine durchgehende Fokusregion zu bestimmen.
• Zeitliches Reframing: Würde man die Fokusregion Bild für Bild verfolgen, wirkte das unruhig. Netflix setzt deshalb Heuristiken ein, die auf der Bewegung der Region innerhalb einer Einstellung beruhen. Bei geringer Verschiebung bleibt das Zuschnittfenster statisch. Bei deutlicher Bewegung berechnet das System ein dynamisches Tracking-Fenster und glättet dessen Verlauf, sodass Schwenks gewollt und filmisch wirken.

Integration in das Clips-Tooling und Export nach Premiere

Der Algorithmus zur Größenanpassung ist im internen Clips-Tool von Netflix verankert, sodass Editoren und Produzenten ihn in ihrem bestehenden Workflow nutzen können. Sie können automatisch mehrere Versionen eines Clips in unterschiedlichen Seitenverhältnissen mit intelligentem Reframing erzeugen. Ein einheitliches In-App-Modul bietet Steuerungsoptionen für das Shot-Reframing, mit denen Nutzer die Zuschnitte des Algorithmus prüfen und gezielt anpassen können.

Für komplexere Einstellungen oder individuelle Kampagnen können Produzenten die Parameter der Größenanpassung als XML exportieren und in externe Timeline-Editoren wie Adobe Premiere laden. Netflix zufolge können Agenturen und externe Partner so von den Framing-Entscheidungen des Algorithmus ausgehen, statt Zuschnitte manuell neu zu erstellen oder auf Werkzeuge wie Premieres Auto Reframe zurückzugreifen. Laut Unternehmen schnitt der eigene Algorithmus in einem internen Test mit einem kuratierten Evaluierungsset besser ab als Auto Reframe.

Was das für Netflix-Teams und Partner bedeutet

Netflix zufolge verringert die Kombination aus automatisierter Größenanpassung und manueller Feinabstimmung an einem Ort Produktionszeit und manuellen Aufwand erheblich, bei gleichzeitigem Erhalt der kreativen Kontrolle. Das Unternehmen gibt an, die Zeit, die Teams mit repetitiven Anpassungsaufgaben verbringen, verkürzt und schnelleres Experimentieren in mobilen Feeds und Marketingkampagnen ermöglicht zu haben.

Der Blogbeitrag nennt weder Zahlen zur eingesparten Zeit noch Details zum Evaluierungsset, die Leistungsangaben stammen also allein von Netflix. Das Unternehmen fügt hinzu, die Fähigkeiten auf neue Formate und Workflows ausweiten zu wollen. Erklärtes Ziel ist es, Kreativen mehr Zeit zum Geschichtenerzählen zu geben und Mitgliedern und Fans ein durchgehend hochwertiges Seherlebnis zu bieten.