AWS erläutert Social Departments kulturbewusstes Videosuchsystem

Social Department hat QuickSearch entwickelt, eine Reihe von Abfragen mit nur einer Aktion, die Entertainment-Vermarktern helfen sollen, kulturell relevante Momente in großen Videobibliotheken zu finden. Laut AWS kombiniert das System Videoverständnis mit kontinuierlich aktualisierten Trendsignalen und redaktionellen Kriterien.
- QuickSearch bietet vier Aktionen für die Suche in Entertainment-Videos.
- Trend Align verbindet aktuelle externe Trends mit Momenten in einer Videobibliothek.
- AWS-Dienste und TwelveLabs-Modelle treiben die beschriebene Such- und Abruf-Pipeline an.
- Social Department prüft Quellen und setzt vor der Veröffentlichung auf menschliche Freigabe.
Von der semantischen Suche zum redaktionellen Urteil
Marketingteams aus der Entertainmentbranche verwalten Zehntausende Video-Assets aus Studios, Sendern und Streaming-Anwendungen. Die Herausforderung besteht oft nicht darin, ein sichtbares Objekt oder eine Dialogzeile zu finden, sondern zu entscheiden, welcher Moment beim Publikum ankommt.
AWS und Social Department zufolge stößt die konventionelle semantische Suche an eine Grenze, weil sie Fragen beantwortet, die Nutzer formulieren können. Eine Abfrage nach einer Figur, die eine Kaffeetasse hält, kann jede Kaffeetasse in einem großen Katalog identifizieren. Sie kann jedoch nicht direkt beantworten, welche Szene sich verbreiten wird, welche Zeile zitierfähig ist oder welches Bild zum Meme werden könnte.
QuickSearch bildet diese redaktionellen Fragen als ausführbare Such- und Abruf-Pipelines ab. Die vier Aktionen sind Shareable Scenes, Quotable Quotes, Memeable Moments und Trend Align. Social Department definiert die redaktionellen Kriterien und den Ranking-Ansatz hinter jeder Aktion, während TrackIt das System auf Grundlage dieses Konzepts implementiert und ausgeliefert hat.
Vier Aktionen für die Kampagnenrecherche
Shareable Scenes findet umfangreiche, in sich geschlossene Sequenzen, darunter längere Konfrontationen, Höhepunkte und aufwendig inszenierte Szenen. Quotable Quotes sucht nach pointierten Dialogen in kurzen Clips und kann Zeilen höher gewichten, die dort kursiert sind, wo dieses Signal für einen Titel verfügbar ist.
Memeable Moments identifiziert einzelne Bilder, die sich als Meme eignen könnten, und erzeugt eine Bildunterschrift, die sich auf das Bild stützt. Ein spezieller Extraktions- und Bewertungsschritt wählt das Bild aus, anstatt einfach ein Vorschaubild zu verwenden.
Trend Align nimmt aktuelle Trends auf und findet Momente in einer Bibliothek, die einen legitimen Bezug zu ihnen haben. Dadurch kann ein Titel, dessen Ausstrahlung bereits Jahre zurückliegt, wieder Teil einer laufenden Diskussion werden. Social Department behält außerdem die Suche in natürlicher Sprache für Abfragen außerhalb der vier Aktionen sowie die bildbasierte Suche nach visuell ähnlichen Inhalten bei.
Unabhängige Pipelines werden bei der Anfrage zusammengeführt
Die Architektur trennt das Verständnis von Inhalten von der Erfassung von Trends. Die Content-Pipeline macht eine Bibliothek durchsuchbar, während die Trend-Erfassung kontinuierlich externe Signale sammelt. Ein QuickSearch-Auftrag führt diese Quellen erst zusammen, wenn ein Nutzer eine Aktion auswählt. Dadurch kann jede Pipeline nach ihrem eigenen Zeitplan laufen.
Für die Verarbeitung der Inhalte orchestriert eine AWS-Step-Functions-Zustandsmaschine ungefähr zwei Dutzend Python-AWS-Lambda-Funktionen. Videos werden in einen Amazon-Simple-Storage-Service-Bucket pro Team hochgeladen, und ein Amazon-EventBridge-Ereignis startet die Verarbeitung. Metadaten werden in Amazon DynamoDB geschrieben, AWS Elemental MediaConvert transkodiert das Asset mit adaptiver Deinterlacing-Funktion in 480p H.264, und Amazon Rekognition führt eine asynchrone Segmenterkennung durch.
Das System erstellt anschließend inhaltsbezogene Bereiche von ungefähr 10 beziehungsweise 20 Sekunden. TwelveLabs Marengo 3.0 auf Amazon Bedrock erzeugt multimodale Einbettungen über visuelle, Audio- und Transkript-Dimensionen hinweg. TwelveLabs Pegasus 1.2 erstellt Beschreibungen auf Szenenebene, die narrative Details wie Emotionen, Themen, Dialogtypen und die Position innerhalb der Handlung abdecken.
Kontrollen halten Menschen im Entscheidungsprozess
AWS zufolge laufen die Modelle auf Amazon Bedrock, sodass Kundendaten innerhalb der AWS-Datengrenze bleiben. Nach Angaben von AWS werden die Daten nicht an Modellanbieter weitergegeben und nicht zum Training der zugrunde liegenden Modelle verwendet.
Social Department beschreibt seinen Ansatz als „KI schlägt vor, Menschen entscheiden“. Im Produktivbetrieb prüft der Code die erzeugten Ergebnisse anhand des Ausgangsmaterials. Dazu gehört, ein Zitat zu verwerfen, wenn es nicht im Transkript der Episode vorkommt. Amazon Bedrock Guardrails hilft dabei, den Suchtext von Kunden auf Prompt-Angriffe zu prüfen, und ein Mitglied des Kundenteams genehmigt jeden Beitrag vor der Veröffentlichung.
Für Nutzer soll das System die Suche von der manuellen Beschreibung von Filmmaterial hin zur Auswahl eines Zwecks verlagern, etwa der Suche nach einer teilbaren Szene oder der Ausrichtung einer Bibliothek an einem aktuellen Trend. Die Quelle beschreibt die AWS-Komponenten der Architektur und stellt sie nicht als vollständiges Verzeichnis der übrigen Medien-, Daten- und Content-Systeme von Social Department dar.


