Tripo AI veröffentlicht EdenLive: Open-Source-Renderer für generative Echtzeitgrafik
Tripo AI hat EdenLive vorgestellt, einen generativen Echtzeit-Renderer, der grobe Visuals von Coding-Agenten oder Spiel-Engines in detailreichere Videos verwandelt. Laut Unternehmen läuft er mit 24 Bildern pro Sekunde oder mehr auf einer einzelnen Consumer-GPU. Das Modell wurde als Open Source veröffentlicht.
- Tripo AI hat EdenLive vorgestellt, einen generativen Echtzeit-Renderer innerhalb seines Weltmodells Project Eden.
- Laut Unternehmen rendert er 720p-Video mit über 24 FPS auf einer einzelnen Consumer-GPU vom Typ RTX 5090.
- Er nimmt eine Szene oder ein Referenzvideo, ein gewünschtes erstes Bild und einen Text-Prompt entgegen und gibt 480p oder 720p aus.
- Modellgewichte, Code, ein Text-zu-Spiel-Skill und ein Frontend vom Prompt zum Spiel sind Open Source.
Was EdenLive leistet
EdenLive ist Teil von Project Eden, dem Weltmodell von Tripo für interaktive Umgebungen. Laut Tripo AI trennt es, was in einer Szene geschieht, davon, wie die Szene aussieht. Ein Code-Agent oder eine Spiel- bzw. Simulations-Engine bestimmt, wie sich die Szene entwickelt, während EdenLive die Visuals in Echtzeit erzeugt.
Nach Angaben des Unternehmens wandelt das System grobe Visuals mit 24 FPS oder mehr auf einer einzelnen Consumer-GPU in reichhaltigere, detailliertere Videos um. Es unterstützt zudem Long-Horizon-Synthese, kann also mehrere Minuten am Stück kontinuierlich in Echtzeit Video generieren.
Nutzer liefern drei Eingaben: eine 2D- oder 3D-Szene oder ein Referenzvideo, ein gewünschtes erstes Bild und einen Text-Prompt. EdenLive gibt Videos in 480p und 720p aus. Experimente des Forschungsteams von Tripo AI zeigen laut Unternehmen 720p-Video in Echtzeit mit über 24 FPS auf einer einzelnen RTX 5090.
Einordnung in Project Eden
Project Eden wurde im Mai veröffentlicht. Dr. Cao Yanpei, Chief Scientist von Tripo AI, beschreibt es als Trennung der Entwicklung des Weltzustands vom visuellen Rendering in drei Ebenen: einen sich kontinuierlich entwickelnden Weltzustand, eine Schnittstelle vom Zustand zum Visuellen und einen generativen Renderer. In seinen Worten: „EdenLive setzt die zweite und dritte Ebene um, ohne die erste einzuschränken. Es ist ein großer Schritt hin zu unserer Vision, interaktive Welten zu bauen.“
Weil die erste Ebene offen bleibt, kann der Weltzustand aus unterschiedlichen Quellen stammen, etwa von einem Coding-Agenten oder einer bestehenden Engine.
Vorgesehene Einsatzzwecke
Tripo AI nennt mehrere Anwendungsfälle:
- Spielvorschauen: EdenLive wird mit einem Coding-Agenten für interaktive Spielvorschauen gekoppelt.
- Szenen- und Animationsvorschauen: Kreative können verschiedene Looks ausprobieren und dabei Layout, Bewegungen und Kamerapfad beibehalten.
- Restyling und Re-Rendering: Figuren, Inhalte oder ganze Stile lassen sich in Echtzeit austauschen.
- Embodied AI: Aufnahmen realer menschlicher Handgriffe werden in die Perspektive eines Roboters umgewandelt. Damit lasse sich laut Unternehmen die Lücke zwischen menschlichen Demonstrationen und Roboterlernen schließen.
Open-Source-Release und Bedeutung
Tripo AI hat EdenLive als Open Source veröffentlicht. Entwickler erhalten die Modellgewichte, den Code zur Videogenerierung in Echtzeit, einen Skill, der Text-Prompts in einfache spielbare Spiele verwandelt, sowie ein Frontend für die komplette Pipeline vom Prompt zum Spiel.
Für Entwickler und Kreative bedeutet die Veröffentlichung, dass sich der Renderer auf Consumer-Hardware testen lässt und nicht nur über einen gehosteten Dienst, zumindest nach den Leistungsangaben von Tripo AI. Die Zahlen stammen aus eigenen Experimenten des Unternehmens, unabhängige Tests nennt die Ankündigung nicht.
Tripo AI wurde 2023 gegründet und entwickelt 3D-native Foundation Models und Weltmodelle. Zudem bietet das Unternehmen Tripo Studio und die Tripo API an. EdenLive erweitert diese Arbeit in Richtung interaktiver Echtzeit-Umgebungen.
