Pika Enact macht KI-Videoproduktion zum Live-Regieerlebnis

Pika hat Pika Enact vorgestellt, eine experimentelle Live-Streaming-Umgebung, mit der Kreative KI-generierte Szenen in Echtzeit inszenieren können. Das auf Pika H3 Flex basierende System erzeugt Video und Ton in Abschnitten von unter einer Sekunde und führt den Szenenkontext fort.
- Pika Enact ist eine experimentelle Live-Streaming-Umgebung auf Basis von Pika H3 Flex.
- Mit Live Staging können Nutzer Schauspieler oder Objekte durch eine laufende Szene ziehen.
- Live Actor Direction unterstützt gesprochene oder eingetippte Anweisungen für KI-Schauspieler.
- Laut Pika reagiert Live Staging mit niedriger Latenz in unter 0,4 Sekunden.
- Das System umfasst außerdem eine Kamerasteuerung in Echtzeit.
Ein Live-Set statt eines Prompt-Felds
Pika beschreibt Enact als Forschungsvorschau, die das Erlebnis einer Regiearbeit am Set nachbildet. Statt auf die vollständige Videogenerierung zu warten, können Kreative mit einer laufenden Szene interagieren, neue Anweisungen geben und das Ergebnis sehen, während die Szene weiterläuft.
Das System unterstützt drei Interaktionsmodi: Live Staging, Live Actor Direction und Live Camera Control. Zusammen ermöglichen sie es Kreativen, Personen oder Objekte neu zu positionieren, mit Schauspielern zu kommunizieren und die Kamera in einer laufenden Szene per Maus, Sprache oder Text zu bewegen.
Personen und Objekte während der Wiedergabe bewegen
Mit Live Staging können Kreative einen Schauspieler oder ein Objekt verschieben, während das Video läuft. Laut Pika erzeugt das Modell das bewegte Motiv zusammen mit der umgebenden Szene und passt dessen Körperhaltung, Beleuchtung und Schatten an die Umgebung an. Das Unternehmen erklärt zudem, dass der Prozess ausgefranste Ränder, an der ursprünglichen Position zurückbleibende Lücken und einen separaten Compositing-Schritt vermeidet.
Laut Pika erzeugt das Modell Video auf einem einzelnen Server 1,8-mal schneller als die Wiedergabe. In der Einstellung mit niedriger Latenz reagiert das Bild einschließlich der Dekodierung in unter 0,4 Sekunden. Die Maus wird 24-mal pro Sekunde abgetastet, während das System kurze Videoabschnitte verwendet, um die Zeit zwischen einer Eingabe und dem daraus entstehenden Bild zu verkürzen.
Pika zufolge wurde diese Funktion mit einer physikbasierten Engine für synthetische Daten trainiert. Ausgehend von einem unveränderten Video animiert die Engine einen 3D-Ersatz entlang eines Ziehpfads und erzeugt anschließend Zielclips, während sie Mauspositionen und Tastenstatus aufzeichnet. Die daraus entstehenden Vorher-Nachher-Paare werden für Training und Evaluierung verwendet.
Schauspieler per Gespräch inszenieren
Live Actor Direction verwandelt Personen in einem generierten Video in KI-Schauspieler, die während der laufenden Szene auf Anweisungen reagieren können. Kreative können einen Schauspieler auffordern, sich zu bewegen, den Dialog zu ändern oder seine Emotionen anzupassen. Laut Pika reagieren die Schauspieler in ihren eigenen Stimmen im Gespräch, und Video sowie Ton werden 1,75-mal schneller als die Wiedergabe erzeugt.
Der Modus ist auf Proben ausgelegt. Kreative können Anweisungen geben und eine Darstellung iterativ verbessern, bevor sie mit „Action“ eine neue durchgehende Aufnahme erzeugen. Laut Pika erinnern sich die Schauspieler an vorherige Anweisungen und Ereignisse in der Szene. Jeder von ihnen wird als KI-Agent mit einer eigenen Persönlichkeit, eigener Logik und der Fähigkeit beschrieben, seiner Rolle entsprechend zu reagieren.
Pika Enact bleibt eine experimentelle Forschungsvorschau. Die Ankündigung stellt das System als Schritt hin zu einer interaktiveren Form der KI-Videoproduktion dar, bei der Nutzer Inszenierung, Darstellung und Kamerabewegung während der Generierung gestalten können, statt ausschließlich über einen Prompt zu kommunizieren.
Pika: Research Preview: Pika Enact


