Google DeepMind stellt Weltmodell Genie 4 mit nativem Audio und Dialogen vor

Ein Weltmodell auf Basis von Gemini

DeepMind beschreibt Genie 4 als nativ multimodal. Umgebungsgeräusche, Musik und interaktive Dialoge werden zeitgleich mit der simulierten Welt erzeugt und nicht nachträglich hinzugefügt. Nach Angaben des Unternehmens ist Genie 4 sein erstes Echtzeit-Weltmodell, das Audio nativ generiert, und jede Welt trägt die Umgebungsgeräusche ihres eigenen Schauplatzes in sich, vom Wind in den Bäumen bis zu Wellen, die am Strand brechen.

Das Modell greift auf die Gemini-Familie zurück. Laut DeepMind verankert Gemini Omni die Simulationen im Erscheinungsbild und Verhalten der realen Welt, während andere Gemini-Modelle das Schlussfolgern übernehmen, das nötig ist, damit eine Simulation kohärent und kontinuierlich bleibt. Die Idee, so das Unternehmen: Man setzt ein Ereignis in Gang, und Genie 4 simuliert, was als Nächstes geschieht, also wie die Welt reagiert, wie sie klingt und wie sich die Menschen darin bewegen, reagieren und sprechen.

Vier Fähigkeiten: Steuerung, Physik, Menschen und Ton

DeepMind zufolge bringt Genie 4 vier zentrale Fähigkeiten voran. Die Demonstrationsaufnahmen zeigen Nutzer, die sich mit üblichen Tastatursteuerungen für Bewegung und Kamera durch die Szene bewegen und per Textprompt die sich entwickelnde Szene lenken.

• Gestaltung in Echtzeit: Nutzer können das Wetter ändern, die Kamera bewegen oder eine neue Person oder einen neuen Gegenstand in natürlicher Sprache einführen. Gemini passt den Prompt an die umgebende Szene an und überwacht und steuert die Welt zwischen den Eingaben, damit sie sich stimmig weiterentwickelt.
• Physik und menschliches Handeln: Laut DeepMind beruht das Modell auf einem fortgeschrittenen physikalischen Verständnis der Welt und simuliert Szenarien wie Aerodynamik und Kollisionen. Die Simulation von Menschen bezeichnet das Unternehmen als den dramatischsten Sprung: Figuren bewegen sich natürlich, reagieren organisch auf ihre Umgebung und lassen sich in Echtzeit steuern.
• Ton: Über Umgebungsgeräusche hinaus führt Genie 4 interaktive Dialoge ein, die sich spontan anpassen. Figuren unterhalten sich und reagieren auf Nutzereingaben oder Ereignisse in der Welt.

Die von DeepMind veröffentlichten Beispielprompts reichen von einem Saxofonspieler auf einer schwebenden Plattform in einem nebligen See über einen vollen japanischen Bahnhof der 1980er-Jahre und eine Makroaufnahme eines fallenden Ahornsamens bis zu einer Buntglaslandschaft, die sich dreidimensional erkunden lässt.

Verfügbarkeit und vorgesehene Einsatzzwecke

Genie 4 wird als Research Preview für Trusted Tester bereitgestellt. DeepMind erklärt, man sammle Feedback, bevor das Modell für Verbraucher und Entwickler freigegeben wird, beginnend mit Abonnenten von Google AI Ultra in Project Genie sowie mit Early-Access-Partnern der Gemini API und von Google AI Studio. Eine Warteliste für Genie 4 in Project Genie ist geöffnet. Preise oder einen allgemeinen Veröffentlichungstermin nennt die Quelle nicht.

DeepMind ordnet die Arbeit in sein übergeordnetes Ziel ein. „Die Welt zu verstehen und zu simulieren, ist ein entscheidender Aspekt beim Aufbau von AGI“, schreibt das Unternehmen in seiner Ankündigung. Genie 4 verbessere die Fähigkeit, sichere, unendlich variable Simulationen zu erschaffen, die bei allem helfen können, von der Entwicklung von Trainingsumgebungen für Roboter und Agenten bis hin zur Schaffung neuer interaktiver Erlebnisse.

Vorerst ist der Zugang auf Trusted Tester beschränkt, die Aussagen zu Realismus, Physik und Dialogen stammen daher aus DeepMinds eigenen Demonstrationen. Die breitere Verfügbarkeit über Project Genie, die Gemini API und Google AI Studio wird zeigen, wie sich das Modell außerhalb der Beispiele des Unternehmens schlägt.