Apple-Forschungsmethode skaliert 3D-Latent-Details zur Inferenzzeit

Apple-Forscher haben Split-and-Scale vorgestellt, eine Methode, die die Latent-Kapazität von 3D-Repräsentationen zur Inferenzzeit erhöhen soll, ohne dieselbe Erweiterung beim Training zu erfordern. Das NeurIPS-Paper zielt auf den Verlust feiner Details bei komplexen 3D-Objekten und berücksichtigt zugleich Einschränkungen bei Training und Speicher.
- Apple-Forscher haben die Split-and-Scale-Methode für latente 3D-Repräsentationen vorgestellt.
- Die Methode erweitert die Latent-Kapazität zur Inferenzzeit und hält die Trainingskosten zugleich beherrschbar.
- Ein vortrainierter Tokenizer kann auf kleinere Teilbereiche von 3D-Szenen angewendet werden.
- Apple berichtet von einer Qualität, die mit größeren Modellen konkurrieren kann, welche die Speichergrenzen einer einzelnen GPU überschreiten.
- Die Methode unterstützt außerdem einen autoregressiven 3D-Generator.
Mehr Kapazität zur Inferenzzeit
Latente 3D-Repräsentationen ermöglichen eine kompakte Kodierung von 3D-Szenen und unterstützen generative 3D-Modelle. Nach Angaben der Apple-Forscher haben bestehende Ansätze Schwierigkeiten mit feinen Details komplexer Objekte, weil ihre Latents nur über eine begrenzte Kapazität verfügen.
Eine Erhöhung dieser Kapazität während des Trainings kann rechenintensiv sein und unter Speicherbeschränkungen möglicherweise nicht umsetzbar sein. Eine bloße Erhöhung der Anzahl der Latents zur Inferenzzeit nutzt die zusätzliche Kapazität laut dem Paper nicht zwangsläufig effektiv.
Split-and-Scale begegnet beiden Problemen, indem die Latent-Kapazität zur Inferenzzeit erweitert wird, während die Trainingskosten beherrschbar bleiben. Die Methode basiert auf der Darstellung von 3D-Szenen als kontinuierliche Funktionen von 3D-Koordinaten. Dadurch kann ein einzelner vortrainierter Tokenizer zur Inferenzzeit auf beliebig kleine Teilbereiche einer Szene angewendet werden.
Kleinere Bereiche, mehr Details
Wird der Tokenizer auf kleinere räumliche Bereiche angewendet, erhält jeder Bereich dieselbe Latent-Kapazität für eine kleinere Fläche. Nach Angaben der Apple-Forscher lassen sich dadurch deutlich mehr Details erfassen, als wenn die Kapazität auf einen größeren Szenenbereich verteilt wird.
Das Paper bewertet den Ansatz anhand umfangreicher Ablationsstudien, die die Zielkonflikte zwischen Rechenaufwand, Speicher, Latent-Kapazität und Rekonstruktionsqualität untersuchen. Den Autoren zufolge erreicht die Skalierungsmethode zur Inferenzzeit eine Qualität, die mit deutlich größeren Modellen konkurrieren kann, welche die Speichergrenzen einer einzelnen GPU überschreiten.
Der Ansatz trennt die Kosten für die Vorbereitung eines Modells von der Kapazität, die bei der Rekonstruktion einer Szene genutzt wird. Die Quelle beschreibt Split-and-Scale nicht als Ersatz für das Training größerer Modelle in jeder Situation, sondern als Möglichkeit, die effektive Kapazität zur Inferenzzeit zu erhöhen, ohne den Trainingsprozess ähnlich teuer zu machen.
Unterstützung für generative 3D-Modellierung
Die Apple-Forscher testeten Split-and-Scale auch für die generative Modellierung. Sie trainierten einen autoregressiven 3D-Generator und berichten, dass er mit dem Stand der Technik entsprechenden Baselines konkurrieren kann.
Dieses Ergebnis erweitert die Methode über die Rekonstruktionsqualität hinaus. Die Experimente des Papers zeigen, dass die Repräsentation auch als Grundlage für einen Generator dienen kann, der 3D-Inhalte modelliert und dabei die Idee der Skalierung zur Inferenzzeit beibehält.
Die Arbeit mit dem Titel Split-and-Scale Latent 3D Representations wurde im November 2026 von Apple als NeurIPS-Paper veröffentlicht. Ihre Autoren sind Dorian Chan, Muhammed Kocabas, Xiaoming Zhao, Oncel Tuzel und Jen-Hao Rick Chang.
Warum die Forschung wichtig ist
Für die 3D-Rekonstruktion und -Generierung adressiert die Methode einen zentralen Zielkonflikt zwischen Detailgrad, Modellgröße, Rechenaufwand und Speicher. Die Quelle beschreibt einen Weg, bei Bedarf eine höhere effektive Latent-Kapazität zu nutzen, ohne beim Training ein entsprechend größeres Modell zu benötigen.
Für Nutzer von 3D-Systemen könnten die berichteten Ergebnisse detailliertere Szenenrepräsentationen unter den Speichergrenzen einer einzelnen GPU ermöglichen. Das Paper ist weiterhin eine von Apple vorgestellte Forschungsarbeit; die Quelle kündigt weder ein Produkt noch eine kommerzielle Veröffentlichung oder eine allgemeine Verfügbarkeit an.
Apple: Split-and-Scale Latent 3D Representations


