Apples GHARP animiert 3D-Köpfe in Echtzeit mit mobiltauglichen Netzen
Apple-Forscher haben GHARP vorgestellt, ein Verfahren, das 3D-Köpfe von Menschen in Echtzeit animiert, ausgehend von wenigen Eingabebildern einer Person und einem steuernden Ausdruckssignal. Laut der Studie erreicht es auf dem Ava-256-Benchmark eine Qualität auf dem neuesten Stand der Technik und läuft auf einer A100-GPU bis zu 13-mal schneller, bei 8-mal weniger Gaussians.
- GHARP animiert 3D-Köpfe von Menschen in Echtzeit aus wenigen Eingabebildern und einem steuernden Ausdruckssignal.
- Eine Offline-Identitätsstufe ist von einer schlanken, für Mobilgeräte optimierten Animationsstufe getrennt.
- Ein Netz zur Körperausrichtung verringert Unschärfe und zeitliches Flimmern, die durch unterbestimmte Körperhaltung und Kleidung entstehen.
- Laut den Autoren erreicht GHARP auf Ava-256 Spitzenqualität und läuft auf einer A100-GPU bis zu 13-mal schneller bei 8-mal weniger Gaussians.
Ein zweistufiger Ansatz für die Kopfanimation
Die Studie mit dem Titel "GHARP: Real-Time Gaussian Head Animation from Large-Scale Reconstruction Prior" wurde im Oktober 2026 veröffentlicht und ist für die Asian Conference on Computer Vision (ACCV) gelistet. Sie gehört zu Apples Forschungsbereich Computer Vision.
Die Autoren teilen das Problem in zwei Teile. Eine Identitätsstufe erstellt offline eine Repräsentation von Geometrie und Erscheinungsbild der Person. Eine Animationsstufe sagt anschließend zur Laufzeit ausdrucksabhängige Residuen auf Grundlage dieser Repräsentation voraus.
Laut den Forschern bietet diese Trennung einen günstigen Kompromiss zwischen Detailtreue, Qualität und Laufzeit. Die Identitätsstufe darf aufwendig sein, weil sie vorab läuft, während die Animationsstufe ein schlankes, für Mobilgeräte optimiertes Netz verwendet.
Arbeiten im Latent Space eines Rekonstruktionsmodells
GHARP animiert in einem semantisch strukturierten Latent Space eines vortrainierten Rekonstruktionsmodells. Nach Angaben der Autoren bleiben Ausdrucksänderungen in diesem Raum räumlich begrenzt, was die Vorhersage der Residuen effizient macht.
Der Rekonstruktions-Prior liefert zudem ein konsistentes räumliches Layout. Dadurch lassen sich mehrere Eingabeansichten zu einer kompakten kanonischen Gaussian-Repräsentation der Person mit fester Größe zusammenführen.
Weniger Unschärfe und Flimmern dank Netz zur Körperausrichtung
Die Studie benennt ein Problem, das ausdrucksgesteuerte Avatar-Methoden gemeinsam haben. Ausdruckscodes beschreiben nur das Gesicht, daher sind Körperhaltung und Position der Kleidung in der Eingabe nicht festgelegt. Laut den Autoren steht das Animationsnetz dann vor einer schlecht gestellten Abbildung und mittelt über widersprüchliche Körperdarstellungen, was zu Unschärfe und zeitlichem Flimmern führt.
Dem begegnet das Team mit einem Netz zur Körperausrichtung. Es lernt, den Körper der Person im Zielbild an den Referenzbildern der Eingabe auszurichten, und beseitigt so die Mehrdeutigkeit im Trainingssignal.
Ergebnisse und Einordnung
Die Autoren berichten von einer Qualität auf dem neuesten Stand der Technik auf dem Ava-256-Benchmark. Die Geschwindigkeitsangaben beziehen sich auf eine A100-GPU: bis zu 13-mal schneller, bei 8-mal weniger Gaussians. Weitere Laufzeitwerte oder Details zu konkreter Mobil-Hardware nennt die Quelle nicht.
Die Arbeit ist neben verwandter Apple-Forschung zu 3D-Gaussian-Köpfen gelistet, darunter HeadsUp, ein Feed-forward-Verfahren zur Rekonstruktion hochwertiger 3D-Gaussian-Köpfe aus großen Multikamera-Aufbauten, veröffentlicht im Mai 2026 für die ECCV.
Für das Fachgebiet deuten die Ergebnisse darauf hin, dass sich hochwertige Kopf-Avatare in Echtzeit aus nur wenigen Bildern künftig praktikabler umsetzen lassen, zumal das Animationsnetz mit Blick auf Mobilgeräte entworfen wurde. Produktpläne erwähnt die Quelle nicht.
