NVIDIA zeigt, wie Entwickler mit GPT-6 Astra und Omniverse Simulationen bauen
NVIDIA hat sieben Beispielprojekte veröffentlicht, in denen Entwickler Frontier-KI-Modelle wie GPT-6 Astra gemeinsam mit NVIDIA-Omniverse-Bibliotheken nutzen, um Simulationsanwendungen zu bauen. Laut NVIDIA geben die Entwickler den KI-Agenten Anweisungen in natürlicher Sprache, prüfen die Ergebnisse und steuern Änderungen.
- NVIDIA hat sieben Projekte veröffentlicht, in denen Entwickler KI-Agenten wie GPT-6 Astra mit Omniverse-Bibliotheken zum Bau von Simulationen steuern.
- Ashley Reid erstellte mit Astra- und Claude-Fable-5-Agenten in rund drei Tagen zwei digitale Zwillinge und verbesserte zwei weitere.
- Im Experiment Robo Olympics überwand ein simulierter Unitree-G1-Humanoide eine Hürde in 64 von 100 Durchläufen.
- Weitere Projekte umfassen einen Lagersimulator mit Humanoiden, eine Testumgebung für autonomes Fahren, robotische Demontage, einen Raumstations-Viewer und Tests mit erfassten Räumen.
So funktioniert der Workflow
NVIDIA beschreibt den Weg von der Simulationsidee zur lauffähigen Anwendung als Kette von Schritten: Assets zusammenstellen, Physik und Rendering verbinden und prüfen, ob sich die Szene wie vorgesehen verhält. Entwickler setzen inzwischen Frontier-KI-Modelle ein, um diese Arbeit zu unterstützen, und bauen Anwendungen, mit denen sich Szenarien erkunden, Fehler untersuchen und Designs verbessern lassen.
In den Beispielen steuern die Entwickler die Agenten, während die Omniverse-Bibliotheken GPU-beschleunigte Funktionen für Physik, Rendering und Sensorsimulation liefern. NVIDIA kündigt an, neue Beispiele aus den eigenen Teams und von Entwicklern im gesamten Ökosystem zu ergänzen.
Roboter, Fahrzeuge und digitale Zwillinge
Im ersten Projekt nutzte Frank DeLise, Omniverse Product Manager bei NVIDIA, Astra, um ein SimReady-Lager und einen humanoiden Roboter in einen interaktiven Simulator mit Ego- und Third-Person-Ansicht zu verwandeln. Er wies Astra an, Omniverse-Bibliotheken für Physik (ovphysx), Szenenaktualisierungen (ovstage), Rendering (ovrtx) und Benutzeroberfläche (ovui) zu verbinden. Anschließend erzeugte Astra Animations- und Anwendungscode.
Doyub Kim, Manager im Team für Simulationstechnologie bei NVIDIA, ließ Astra mit Zero to Alpamayo eine wiederverwendbare Simulationsumgebung auf Basis der Market Street in San Francisco bauen. Astra verband Asset-Erstellung, Verkehr, Omniverse-RTX-Sensorsimulation und Alpamayo-Fahrfunktionen schrittweise, wobei jede Integration geprüft wurde. Der Prototyp dient als Testumgebung, um Modelle zu vergleichen und nachzuvollziehen, wie sich Änderungen an Szene oder Sensoren auf das Fahrverhalten auswirken. In einem separaten Experiment variierte Cosmos3-Nano Wetter und Beleuchtung in aufgezeichneten Simulationsvideos.
Ashley Reid, die bei NVIDIA an der Validierung von RTX-Sensoren arbeitet, steuerte Astra- und Claude-Fable-5-Agenten, die Kamera- und Roh-LiDAR-Ausgaben von ovrtx mit aufgezeichneten Daten verglichen. Die Agenten erstellten zwei digitale Zwillinge von Grund auf und verbesserten zwei bestehende. Reid begleitete den iterativen Workflow über etwa drei Tage, die Abnahme hing von Kamera- und LiDAR-Metriken ab.
Sport, Demontage, Weltraum und erfasste Räume
Tae Kim, der bei NVIDIA die Omniverse-Entwicklung und das Produkt leitet, nutzte Sportvideos und Anweisungen in natürlicher Sprache, um Astra beim Bau von Robo Olympics anzuleiten, einem experimentellen Projekt mit simulierten Unitree-G1-Humanoiden. Die Newton Physics Engine simulierte das Verhalten, das Open-Source-Framework NVIDIA Warp beschleunigte die Berechnungen und ovrtx renderte die Szenen. In einem Experiment überwand der Roboter eine einzelne Hürde in 64 von 100 Simulationsdurchläufen.
Jens Jebens, Senior Product Manager für OpenUSD bei NVIDIA, wies Astra an, eine Fahrzeugachsaufhängung in PTC Onshape zu modellieren und in NVIDIA Isaac Sim zu konfigurieren. Der Agent vermaß den verfügbaren Platz und entwarf einen Schraubenschlüssel, mit dem der Roboter die Schrauben erreichen konnte. Jebens meldete die erfolgreiche Demontage einer Aufhängungskomponente in der Simulation.
Nic Johns, Engineering Director bei NVIDIA, ließ Astra NASA-Assets zu einem OpenUSD-Modell der Internationalen Raumstation mit Telemetrie zusammensetzen. Er baute die Anwendung mit einem einzigen Prompt und verlagerte die Szene mit einem Folge-Prompt auf die Tagseite der Erde. Im Workflow kamen Blender, ovrtx, ovstage und ovstream zum Einsatz.
Chirag Majithia vom Isaac Engineering Applications Team wies Astra an, Stereokameraaufnahmen in ein bearbeitbares OpenUSD-Studio umzuwandeln. Der Workflow kombinierte PyCuSFM, FoundationStereo und nvblox für die Rekonstruktion. Tests in Isaac Sim steuerten die Überarbeitung von Kollisionen und Kontakten bei Türen und Schubladen.
Was das für Entwickler bedeutet
Die Beispiele stammen von NVIDIAs eigenen Mitarbeitern und zeigen daher, was das Unternehmen für möglich hält, und keine unabhängigen Ergebnisse. Dennoch zeichnen sie ein Muster: Entwickler legen Ziele fest und prüfen Ergebnisse, während Agenten Bibliotheken verbinden, Code erzeugen und Szenen iterativ verbessern. NVIDIA präsentiert den Ansatz als Möglichkeit, Design, Sensordaten und Tests zu verknüpfen, etwa indem gemessene Abweichungen die Verbesserung der Szene leiten oder ein Ausgangspunkt für das Training von Roboter-Policies entsteht. Das Unternehmen lädt Entwickler mit einer Simulationsidee ein, die Omniverse-Bibliotheken zu erkunden und mit einem KI-Agenten loszulegen.
