TwelveLabs Pegasus 1.5 kommt auf Amazon Bedrock: Analyse langer Videos ohne Vorab-Indexierung

Von der Antwort auf eine Frage zur Suche nach allen passenden Segmenten

Laut AWS ist Video eine große und komplexe Kategorie unstrukturierter Daten, die jedoch größtenteils unauffindbar und ungenutzt bleibt. Strukturierte Erkenntnisse daraus zu gewinnen, erforderte bislang aufwendige manuelle Sichtung oder zersplitterte Toolchains.

Frühere Versionen von Pegasus ließen Nutzer das Modell auf einen Clip richten, eine Frage stellen und eine Antwort erhalten. Pegasus 1.5 analysiert das gesamte Video, findet jedes Segment, das zu den vom Nutzer definierten Kriterien passt, und liefert strukturierte Metadaten mit Zeitstempeln. AWS gab die Verfügbarkeit am 9. Oktober 2026 bekannt.

Die neue Version bringt mehrere Funktionen mit:

• Zeitbasierte Metadatengenerierung: Nutzer definieren Segmente, Ereignisse oder branchenspezifische Merkmale, etwa redaktionelle Abschnitte, Spielzüge im Sport, Sprecherwechsel oder Markenauftritte. Das Modell gibt Treffer als JSON mit Start- und Endzeit sowie den angeforderten Feldern zurück.
• Multimodales Prompting: Eine Segmentdefinition kann eine Textbeschreibung mit einer visuellen Referenz kombinieren. So lassen sich ein bestimmtes Produkt, ein Logo oder eine Person und deren Handlung im Bild aufspüren.
• Verarbeitung im laufenden Betrieb: Eine Ingestion-Pipeline oder ein Schritt zur Vorab-Indexierung ist nicht nötig.
• Größere Kapazität: Videos mit einer Länge von bis zu zwei Stunden lassen sich in einer einzigen Anfrage analysieren, in Pegasus 1.2 war es noch eine Stunde.

Pegasus 1.5 behält die Kernfähigkeiten von Pegasus 1.2 bei: Video-zu-Text-Generierung, detailliertes visuelles Verständnis von Objekten, Text und Zahlen im Bild, zeitliche Verortung (Temporal Grounding) sowie multimodales Verständnis, das visuelle, akustische und textliche Informationen verknüpft. Englisch wird vollständig unterstützt, teilweise unterstützt werden Arabisch, Chinesisch, Französisch, Deutsch, Italienisch, Japanisch, Koreanisch, Portugiesisch, Russisch, Spanisch, Thailändisch und Vietnamesisch.

So funktioniert es auf Amazon Bedrock

Entwickler rufen das Modell am bedrock-runtime-Endpunkt mit der InvokeModel-API auf, oder mit InvokeModelWithResponseStream, wenn die Antwort während der Erzeugung gestreamt werden soll. Die Modell-ID lautet twelvelabs.pegasus-1-5-v1:0, als AWS-Region ist USA West (Oregon), us-west-2, angegeben, die Inferenz erfolgt On-Demand. Das AWS-Beispiel nutzt zudem einen globalen Cross-Region-Inference-Endpunkt und weist darauf hin, dass der Austausch von "global." gegen "us." den geografischen US-Endpunkt anspricht.

Jede Anfrage läuft in einem von zwei Modi, die über das Feld analysisMode festgelegt werden. Der Standardmodus general nimmt einen Text-Prompt entgegen und liefert eine Textantwort, bei vorgegebenem Schema JSON. Der Modus time_based_metadata nimmt Segmentdefinitionen in responseFormat entgegen und gibt eine Liste von Segmenten mit Start- und Endzeit sowie den angeforderten Feldern zurück.

Das Video lässt sich auf zwei Wegen übergeben. Ein Amazon-S3-Speicherort, angegeben als URI samt Konto-ID des Bucket-Eigentümers, eignet sich für lange Videos. Ein Base64-String bettet das Video in den Anfragekörper ein, bis zu 25 MB, und eignet sich für kurze Clips. Laut AWS werden Videos ohne Vorab-Indexierung analysiert, und die Daten bleiben innerhalb der AWS-Datengrenze.

Zur Kostenverfolgung pro Anwendung können Nutzer aus dem Modell Pegasus 1.5 ein Application Inference Profile erstellen, es taggen und statt der Modell-ID über seinen Amazon Resource Name aufrufen.

Erste Schritte und was das für Anwender bedeutet

AWS nennt folgende Voraussetzungen: ein aktives AWS-Konto mit Zugang zu Amazon Bedrock, Python 3.10 oder neuer mit Boto3, IAM-Berechtigungen für bedrock:InvokeModel und bedrock:InvokeModelWithResponseStream, in der Bedrock-Konsole aktivierter Modellzugriff für TwelveLabs Pegasus 1.5 sowie Videos in S3 oder kurze Clips zum Inline-Versand. Die Authentifizierung kann über Standard-AWS-Zugangsdaten oder einen Amazon-Bedrock-API-Schlüssel erfolgen. Für den Produktivbetrieb empfiehlt AWS einen kurzlebigen Schlüssel, da dieser automatisch abläuft.

Im Modus general reicht temperature von 0 bis 1 bei einem Standardwert von 0,2, maxOutputTokens von 512 bis 98.304. Ein stopReason von length bedeutet, dass die Antwort das Token-Limit erreichte, bevor sie vollständig war. Entwickler sollten ihn daher prüfen, bevor sie sich auf die Ausgabe verlassen. Wird includeMetering auf true gesetzt, enthalten nicht gestreamte Antworten zusätzlich outputTokenCount und inputVideoSecond, die Dauer des analysierten Videos in Sekunden.

Für Teams mit großen Videobibliotheken, etwa in Medien-, Sport- oder Marketing-Workflows, liegt die Neuerung darin, dass eine einzige Anfrage strukturierte Ergebnisse mit Zeitstempeln liefern kann, die sich direkt per Code weiterverarbeiten lassen, ohne zuvor eine Indexierungs-Pipeline aufzubauen. Preise nennt die Quelle nicht.