Snowflake bringt Videosuche und -analyse von TwelveLabs in SQL
Snowflake arbeitet mit TwelveLabs zusammen, damit Unternehmen Videos über Snowflake Cortex AI Functions und SQL durchsuchen und analysieren können. Die Integration verbindet aus Videos gewonnene Erkenntnisse mit vorhandenen strukturierten Daten unter den Governance- und Sicherheitskontrollen von Snowflake.
- Snowflake arbeitet mit TwelveLabs zusammen, um Video-KI in Cortex AI Functions zu integrieren.
- Marengo erstellt 512-dimensionale multimodale Video-Embeddings.
- Pegasus erzeugt Zusammenfassungen, Metadaten, Antworten und Szenenbeschreibungen.
- Cortex Search ermöglicht die Suche nach Videomomenten in natürlicher Sprache.
- Marengo 3.0 und Pegasus 1.5 sind ab sofort allgemein verfügbar.
Unternehmensvideos in abfragbare Daten verwandeln
Snowflake bezeichnet Videos als die am häufigsten produzierten, am meisten konsumierten und am wenigsten verstandenen Daten in Unternehmen. Organisationen verfügen über Marketingbibliotheken, Sportarchive, Sicherheitsaufnahmen, Schulungsmaterialien, Quartalsgespräche und andere Videosammlungen, doch ein großer Teil dieser Inhalte lässt sich nur schwer abfragen.
Nach Angaben von Snowflake führt das dazu, dass wertvolle Informationen im Kaltlager verbleiben, statt in der Analyseschicht verfügbar zu sein. Durchsuchbare Videos könnten Marketingteams dabei helfen, kreative Inhalte mit der Kampagnenleistung zu verknüpfen, Sendern die Arbeit mit Archivmaterial erleichtern, Einzelhändlern die Erstellung strukturierter Katalogdaten aus Produktvideos ermöglichen und Compliance-Teams relevante Inhalte effizienter auffinden lassen.
Das Unternehmen erklärt, dass die Videoanalyse traditionell zwischen Computer Vision, das Objekte in Einzelbildern erkennen kann, und Transkription aufgeteilt war, die Sprache erfasst, visuelle Informationen jedoch nicht berücksichtigt. TwelveLabs soll einen einheitlichen Ansatz bieten, der visuelle Inhalte, Audio und Sprache über den gesamten zeitlichen Verlauf hinweg berücksichtigt.
So funktionieren Marengo und Pegasus
TwelveLabs stellt für die Integration zwei Modelle bereit. Marengo ist ein multimodaler Encoder, der Videos in 512-dimensionale Embeddings umwandelt. Diese repräsentieren visuelle Inhalte, Audiomuster und gesprochene Sprache. Das Modell soll dabei helfen, relevante Momente in einer großen Videosammlung zu finden.
Pegasus ist ein Video-Sprachmodell, das Videos analysiert und Texte erzeugt, darunter Zusammenfassungen, strukturierte Metadaten, Antworten auf Fragen und Szenenbeschreibungen. Snowflake stellt die beiden Modelle als sich ergänzende Bestandteile eines Video-Intelligence-Stacks dar: Marengo findet einen Moment, während Pegasus erklärt, was darin zu sehen oder zu hören ist.
Videos können auf Snowflake-Stages gespeichert werden, darunter interne Stages oder externe Stages auf S3, GCS und Azure. Ein Aufruf von Cortex AI Functions kann für jedes Video Embeddings erzeugen. Laut Snowflake enthält die zurückgegebene Struktur Embeddings für die Modalitäten Video, Audio und Transkription, wobei jedes Segment durch einen 512-dimensionalen Vektor dargestellt wird. Die Transkriptionsfunktion unterstützt 36 Sprachen.
Suche, Analyse und Governance in Snowflake
Sobald die Embeddings gespeichert sind, kann Cortex Search sie für Abfragen in natürlicher Sprache indexieren. Nutzer können den gewünschten Moment beschreiben, etwa eine Szene mit einem nachts brennenden Schiff, und passende Videosegmente mit Feldern wie Videodatei sowie Start- und Endzeit abrufen.
Snowflake zufolge verringert dieser Ansatz die Abhängigkeit von manuellen Tags, dem Abgleich von Schlüsselwörtern und gepflegten Inhaltstaxonomien. Aus Videos gewonnene Signale können in denselben Tabellen wie Kampagnendaten, Zielgruppensegmente, Inhaltsmetadaten und Ausgaben verbleiben. So lassen sich diese Quellen in einer einzigen Abfrage untersuchen.
Die Integration wendet Snowflake-Kontrollen auch auf die in den Tabellen gespeicherten, aus Videos gewonnenen Daten an. Dazu gehören Richtlinien auf Zeilenebene, rollenbasierte Zugriffsrechte und Prüfprotokolle. Für anspruchsvollere Workflows können Cortex Agents visuelle, Audio- und Transkriptionssignale über eine Suche mit mehreren Vektoren und benutzerdefinierte Ranking-Strategien kombinieren.
Verfügbarkeit und ein Beispiel von Challenger School
Snowflake zufolge hat das Marketingteam von Challenger School mit AI_MULTI_EMBED ein Tool zur Suche in Videomaterial entwickelt. Das Unternehmen erklärt, dass das Tool relevante Clips innerhalb weniger Minuten findet und damit einen manuellen Prozess ersetzt, der zuvor Wochen dauerte.
„Über das Marengo-Modell von Twelve Labs in Snowflakes AI_MULTI_EMBED kann unser Team per natürlicher Sprache nach Videomaterial fragen und erhält Zeitstempel, Transkriptkontext und mit den ursprünglichen Quelldateien verknüpfte Premiere-Review-Sequenzen. Das gibt unseren Editoren einen praktischen Ausgangspunkt für die Erstellung von Videos“, sagte Yashwanth Karumanchi von Research & Development bei Challenger School Foundation.
Marengo 3.0 und Pegasus 1.5 sind laut Snowflake ab sofort allgemein verfügbar. Das Angebot richtet sich an Organisationen mit Inhaltsbibliotheken, Werbemitteln, Rundfunkarchiven, Überwachungsaufnahmen oder Schulungsmaterialien, die sie über ihre bestehende Snowflake-Umgebung analysieren möchten.
Snowflake: Video AI on Snowflake: Search and Analyze Video With SQL

