NVIDIA baut Cosmos mit Daten-Blueprints, Trainingswerkzeugen und Cosmos-3-Modellen aus

Fünf Blueprints für Trainingsdaten

Weltmodelle helfen Physical-AI-Systemen, die reale Welt zu verstehen und zu simulieren. Ihr Aufbau beginnt laut NVIDIA mit multimodalen, multisensorischen Daten. Die Cosmos Data Factory bündelt Werkzeuge und Skills, um diese Daten im großen Maßstab zu labeln, zu kuratieren, zu erweitern und zu bewerten. Die Komponente Cosmos Curator, eine GPU-beschleunigte Lösung zur Kuratierung von Video-Trainingsdatensätzen, unterstützt nun multimodale, multisensorische Eingaben und Verarbeitungsblöcke.

Die Data Factory bietet jetzt fünf Cloud-native Blueprints, verfügbar über GitHub, Microsoft Azure, Nebius und CoreWeave:

• Autonomous Vehicle Dataset Generation: kuratiert und labelt Fahrdaten und ergänzt synthetische Beispiele für schwer erfassbare Szenarien.
• Image Attribute Augmentation: variiert das Aussehen von Objekten, um die Bildsuche zu verbessern.
• Event Video Generation: wandelt Standbilder in synthetische Videos seltener oder gefährlicher Ereignisse um.
• Defect Image Generation: erzeugt Bilder von Defekten an Leiterplatten, Metall und Glas für Inspektionsmodelle.
• Video Data Augmentation: verändert Wetter und Beleuchtung in vorhandenem Videomaterial und erhält dabei die Szenenstruktur.

NVIDIA nannte mehrere frühe Anwender. Porsche leitet einen gemeinsamen Daten-Flywheel für autonomes Fahren über Marken des Volkswagen Konzerns hinweg und nutzt die Data Factory über Voxel51 auf Microsoft Azure. Laut NVIDIA soll dies wiederholte physische Testfahrten um bis zu 90 % reduzieren und Entwicklungszyklen um bis zu 85 % verkürzen. ANYbotics erzeugte mehr als 1.500 synthetische Videoclips, um Inspektionsroboter für die Industrie darauf zu trainieren, ausgelaufene Flüssigkeiten und andere Veränderungen zwischen zwei Anlagenbesuchen zu erkennen. Ultralytics trainierte sein YOLO-Modell mit echten Bildern und gezielt erzeugten synthetischen Defekten neu und verbesserte so die Lokalisierung und den Recall von Defekten.

Cosmos Framework und Cosmos 3 für Training und Anpassung

Auf der GTC Berlin hat NVIDIA die Trainings-, Optimierungs- und Deployment-Werkzeuge und -Rezepte des Cosmos Framework als Agent Skills auf weitere offene Modelle ausgeweitet, zusammen mit Cosmos 3. Entwickler und Agenten können nun offene Modelle wie GR00T, Alpamayo, QWEN, Pi0.5 und andere kompatible Hugging-Face-Modelle per Fine-Tuning und Reinforcement Learning anpassen. Anschließend lassen sich die Modelle mit Distillation und Quantisierung optimieren und mit leistungsstarker Inferenz bereitstellen. Das Cosmos Framework wird als offenes, modulares Framework aus Werkzeugen und Skills für Modelltraining und -optimierung beschrieben.

Das Robotik-Forschungslabor MicroAGI trainierte Cosmos 3 anhand von Videos, in denen Menschen Objekte handhaben, nach und baute so ein auf egozentrische Manipulation spezialisiertes Weltmodell. Den Reasoner mit 32 Milliarden Parametern destillierte das Labor laut Quelle ohne Genauigkeitsverlust auf ein Nano-Modell mit 8 Milliarden Parametern. Unabhängig davon können Entwickler auf Roboflow Daten labeln und Cosmos 3 nachtrainieren und es anschließend bei Roboflow gehostet oder auf eigenen NVIDIA-GPUs vor Ort betreiben, um Video-Reasoning in Fabriken und Lagerhallen zu bringen.

Simulationsmodelle und schnellere Inferenz

Neue Varianten des Cosmos 3 Nano für die Simulation erlauben es Entwicklern, autonome Policies in wiederholbaren, schwer erfassbaren Szenarien mit mehreren Ansichten und Sensoren zu testen. Mitgelieferter Code ermöglicht es, die Modelle anzupassen, um eigene Policies für autonome Fahrzeuge und zweiarmige Roboter in interaktiven Simulationen zu trainieren und zu bewerten, bevor sie in der Realität getestet werden.

Für den Einsatz liefern aktualisierte NVIDIA Cosmos 3 NIM-Microservices laut NVIDIA in validierten Konfigurationen bis zu doppelt so schnelle Inferenz ohne Qualitätsverlust, während kontinuierliche Videoanalyse Warnmeldungen in unter einer Sekunde ermöglicht. Der neue NVIDIA Metropolis Blueprint für Videosuche und -zusammenfassung (VSS) 3.3 auf Basis der Cosmos-NIM-Microservices macht aus einem Prompt eine Video-KI-Anwendung und hilft Teams laut Unternehmen, mit derselben GPU 40 % mehr Videostreams zu überwachen.

ADNOC nutzt die agentische Plattform MistIQ von Fogsphere, die mit Cosmos und dem Metropolis VSS Blueprint gebaut wurde, um Sicherheitsrisiken an 65 Standorten in Echtzeit zu erkennen. Fogsphere setzt zudem die Cosmos Data Factory ein, um synthetische Trainingsdaten für seltene Ereignisse zu erzeugen. Das verbessert die Erkennung, ohne dass gefährliche Situationen physisch nachgestellt werden müssen.

Was das für Entwickler bedeutet

NVIDIA positioniert Cosmos als vollständig modulare und offene Plattform, die den gesamten Workflow abdeckt: die Data Factory zur Erzeugung von Trainingsdatensätzen, das Cosmos Framework zum Training und zur Anpassung von Weltmodellen und NIM-Microservices zum Bereitstellen unterstützter Cosmos-Modelle. Für Teams, die an autonomen Fahrzeugen, Robotern und Vision-KI arbeiten, bringt die Veröffentlichung fertige Blueprints und Simulationsmodelle, die den Bedarf an physischen Tests und nachgestellten Szenarien verringern sollen. Die Angaben zu Leistung und Einsparungen stammen von NVIDIA und seinen Partnern; eine unabhängige Überprüfung enthält die Quelle nicht.