NVIDIA Cosmos Framework erhält Agent Skills und Simulationsrezepte für Physical AI

Zwei Probleme, zwei Werkzeugsets

Laut NVIDIA stehen Entwickler von Physical AI, die mit World Models arbeiten, vor zwei Herausforderungen: Sie müssen die Modelle an ihre Sensoren, Aufgaben und Daten anpassen und sie anschließend zuverlässig in Anwendungen bringen. Cosmos soll beides abdecken.

Cosmos Framework liefert Agent Skills und Rezepte für das Training von World Models, die Verarbeitung multimodaler Daten, die Optimierung und die Inferenz. Cosmos-NIM-Microservices übernehmen das GPU-beschleunigte Serving über Anwendungs-APIs. Der Beitrag führt durch einen Simulations- und einen Deployment-Workflow, die beide von veröffentlichten Checkpoints ausgehen.

NVIDIA beschreibt das Framework als offen und vollständig modular. Es wird über Cosmos 3 hinaus erweitert und unterstützt künftig auch NVIDIA Alpamayo, GR00T, Qwen, pi0.5 und weitere kompatible Modelle von Hugging Face.

Training, Reinforcement Learning und Optimierung

Für das Training unterstützt das Framework Text, Bilder, Video, Audio und Aktionen. Entwickler können LoRA für parameter-effiziente Anpassung nutzen oder per vollständigem Supervised Fine-Tuning (SFT) alle Modellparameter aktualisieren. Daten lassen sich über JSONL, WebDataset, LeRobot oder eigene Adapter laden.

Die Plattform deckt nun Online- und Offline-Reinforcement-Learning ab. Neu unterstützte Pipelines sind:

• DPO: Offline-Präferenzoptimierung.
• GRPO: Online-RL mit Regel- oder Modell-Reward und vLLM-Rollouts.
• PPO: Actor-Critic-RL mit eingefrorener Referenz und eingefrorenem Critic, einschließlich RL für verkörperte Policies in der Simulation.
• OPD: On-Policy-Distillation von einem eingefrorenen Teacher-Modell.
• DiffusionNFT: Online-RL für Diffusion-World-Models.

Rollout-, Reward- und Trainingsrollen können auf gemeinsam genutzten GPUs oder in getrennten Pools laufen, und unterstützte Simulatoren lassen sich zum Sammeln von Erfahrungen anbinden. Zur Optimierung können Modelle destilliert werden, um Größe oder Generierungsschritte zu verringern, oder quantisiert werden, um Speicher zu sparen. Kompatible Checkpoints laufen mit Hugging Face Diffusers, PyTorch, SGLang, vLLM-Omni, vLLM, TRT-LLM, TRT-Edge-LLM oder NVIDIA NIM.

Außerdem liefert das Framework Skills für Setup, Inferenz, Post-Training und Fehlerbehebung unter .agents/skills mit. So lässt sich einem Coding-Agenten eine klar umrissene Aufgabe übertragen, etwa das Post-Training eines Checkpoints auf einem Datensatz mit festem GPU-Stundenlimit.

Cosmos-3-Nano-Simulationsrezepte für Fahrzeuge, Roboter und Chirurgie

Cosmos Framework enthält Rezepte für Post-Training und Inferenz in den Bereichen Robotersimulation, realistische Szenengenerierung, Multikamera-Fahrsimulation und Bewertung chirurgischer Policies. Mit den neuen Cosmos-3-Nano-Rezepten und Beispiel-Checkpoints können Entwickler das Modell an eigene Sensoren, Aktionsräume und Datendomänen anpassen. Die Checkpoints unterstützen PyTorch und vLLM-Omni und wurden laut NVIDIA auf GPUs der Architekturen Hopper und Blackwell getestet.

Beide Checkpoints für autonome Fahrzeuge nehmen einen Prompt sowie World-Scenario-Map-Steuerungen (WSM) entgegen, die Fahrspuren, Objekte, Fahrbahnmarkierungen, Verkehrsschilder und Fahrbahnränder abbilden. Die Prompts können Wetter, Beleuchtung, Tageszeit und Straßenverhältnisse beschreiben.

Cosmos3-Nano-Transfer-Auto nutzt bidirektionale Generierung, um einen gesamten Multi-View-Clip auf einmal zu entrauschen, und zielt auf die Offline-Erzeugung synthetischer Daten. Es unterstützt Eingabe- und Ausgabevideo mit 30 fps und bis zu 400 Frames bei 480p oder 720p. Längere Sequenzen lassen sich per autoregressivem Chunking erzeugen. Mit einem geänderten Prompt wird aus einer Tagfahrt eine regnerische Nachtfahrt, während Straßenlayout und Fahrzeugtrajektorien erhalten bleiben. NVIDIA schlägt vor, dies zum Training und zur Bewertung von Wahrnehmungs- und Fahrmodellen unter verschiedenen Bedingungen zu nutzen.

Der Referenzlauf auf vier GPUs erzeugt sieben 720p-Videos (297 Frames bei 30 FPS) und 99 LiDAR-Sweeps. NVIDIA rät, die Ausgabedateien zu prüfen und die WSM-Ausrichtung sowie die Konsistenz über Kameraansichten und LiDAR hinweg zu verifizieren.

Cosmos3-Nano-Sim-Auto ist die kausale, in wenigen Schritten destillierte Variante, die autoregressives Streaming ermöglicht. Sie erzeugt Beobachtungen schrittweise, während eine AV-Policy oder menschliche Fahreingaben das Szenario über einen WSM-Renderer aktualisieren. Die generierten Kamera- und LiDAR-Beobachtungen fließen zurück an die Policy, was eine Closed-Loop-Bewertung ermöglicht.

Deployment und was es für Entwickler bedeutet

Beim Serving bieten Cosmos-NIM-Microservices beschleunigte Inferenz mit Quantisierung, Speculative Decoding und KV-Cache-bewusstem Routing. Laut NVIDIA werden dadurch auf H200-GPUs etwa 2- bis 3-fache Beschleunigungen erreicht. Der GPU-Speicherbedarf hängt von Modell und Aufgabe ab: Die Generierung mit Cosmos3-Nano benötigt 58 GiB in BF16 und 44 GiB in FP8 mit Offloading.

Für Teams, die autonome Fahrzeuge, Roboter oder chirurgische Systeme entwickeln, bietet die Veröffentlichung fertige Checkpoints und lauffähige Rezepte zur Erzeugung synchronisierter Kamera- und LiDAR-Daten sowie einen Weg zu Closed-Loop-Tests. NVIDIA verweist Entwickler zudem auf einen ausführlichen technischen Bericht und einen Livestream am Donnerstag, 5. November, zur Nutzung von Cosmos Framework.