NVIDIA Cosmos erstellt mit zwei Prompts Datensätze für Physical AI

NVIDIA hat einen Workflow mit zwei Prompts in NVIDIA Cosmos vorgestellt, mit dem sich trainingsfertige Datensätze für Physical-AI-Systeme erstellen lassen. Der Workflow nutzt Coding-Agenten, um cloudnative Blueprints zu konfigurieren, Daten zu generieren oder zu erweitern sowie Labeling und Evaluierung zu koordinieren.
- NVIDIA Cosmos Data Factory umfasst fünf Blueprints und sechs kombinierbare Skills.
- Ein erster Prompt konfiguriert die Umgebung, während ein zweiter einen Workflow für Trainingsdaten ausführt.
- Zu den Anwendungsfällen zählen autonomes Fahren, Videoerweiterung, seltene Ereignisse und Fehlerbilder.
- NVIDIA meldet eine bis zu 60-mal schnellere Zusammenstellung von Datensätzen und eine um 45 Prozent günstigere Generierung von Szenarien für autonome Fahrzeuge.
Zwei Prompts verbinden Einrichtung und Datengenerierung
Der Workflow basiert auf NVIDIA Cosmos Data Factory, das NVIDIA als Sammlung von fünf cloudnativen Blueprints und sechs kombinierbaren Skills für Datenkuratierung, Datenverarbeitung und die Generierung synthetischer Daten beschreibt. Die Plattform ist Teil von NVIDIA Cosmos, einer offenen Plattform mit Frontier-Modellen, Datensätzen, Frameworks und Skills für die Entwicklung von Weltmodellen.
Der erste Prompt bereitet die Umgebung vor: „Clone the CDF Orchestration repository, then run orchestration preflight and setup.“ Laut NVIDIA prüft Preflight die Umgebung, ohne Änderungen vorzunehmen, während Setup sie für die Ausführung der Blueprints vorbereitet. Der zentrale CDF-Orchestration-Skill koordiniert die Workflow-Schritte, stellt benötigte Dienste bereit und verwaltet die Ausführung auf einem Cluster.
Der zweite Prompt führt einen Blueprint für eine ausgewählte Trainingsdatenaufgabe aus. NVIDIA zufolge können Frontier-KI-Agenten die Blueprints orchestrieren und so Prompt-to-Data-Workflows ohne menschliche Steuerung ermöglichen.
Fünf Anwendungsfälle zielen auf Lücken bei Trainingsdaten für Physical AI
NVIDIA stellt fünf Referenzanwendungsfälle vor. Sie umfassen die Generierung von Fahrszenarien für das Training autonomer Fahrzeuge, die Erweiterung von Bildattributen für Suche und Re-Identifizierung, die Erweiterung von Videos über verschiedene Wetterbedingungen, Beleuchtungen und Umgebungen hinweg, die Generierung von Videos seltener Ereignisse sowie die Generierung von Fehlerbildern für die visuelle Inspektion.
Für Daten autonomer Fahrzeuge durchsucht der entsprechende Blueprint Datenbanken mit Fahrszenarien, ruft passende Videos ab und wandelt sie in Bedingungen wie Regen, Schnee und Nebel um. NVIDIA zufolge prüft Cosmos Evaluator die generierten Videos auf physikalische Plausibilität. Ein Beispiel-Prompt weist das System an, nach ähnlichen Fahrszenen zu suchen, Wetteränderungen vorzunehmen und dabei Bildaufbau und Bewegung zu erhalten sowie das Ergebnis zu prüfen.
Andere Workflows können kontrollierte Kleidungsvarianten in Personenbildern erstellen, vorhandenes Videomaterial umwandeln oder Ereignisse wie Brände, Stürze und Ladendiebstähle ausgehend von einem Quellbild generieren. Die generierten Ergebnisse können vor dem automatischen Labeling mit Erkennungen, Trackings, Bildbeschreibungen oder semantischen Annotationen auf die gewünschten Bedingungen, Bewegungsartefakte und physikalische Plausibilität geprüft werden.
Diese Funktionen adressieren Fälle, in denen Daten nur schwer, teuer oder gefährlich zu erfassen sind. NVIDIA nennt seltene Defekte, Vorfälle bei Nacht und andere anspruchsvolle Szenarien ausdrücklich als Beispiele für Lücken in Datensätzen für Physical AI.
NVIDIA meldet schnellere Zusammenstellung von Datensätzen
NVIDIA zufolge zeigten Messungen auf einem Cloud-Server mit acht NVIDIA RTX PRO 6000 Blackwell Series GPUs eine bis zu 60-mal schnellere Zusammenstellung von Datensätzen und eine um 45 Prozent günstigere Generierung von Szenarien für autonome Fahrzeuge im Vergleich zu herkömmlichen Methoden. Dabei handelt es sich um von NVIDIA gemeldete Ergebnisse und nicht um unabhängige Benchmarks, die in dem Beitrag beschrieben werden.
Das Unternehmen positioniert Cosmos Data Factory für Entwickler, die an autonomen Fahrzeugen, Robotik und Vision-KI-Agenten arbeiten. Die kombinierbaren Skills, darunter Auto Labeling, AnomalyGen, Augmentation, Curation and Retrieval, Simulation und Orchestration, können einzeln oder kombiniert in individuellen Workflows eingesetzt werden.
Für Nutzer deutet die Ankündigung auf eine Möglichkeit hin, aus vorhandenen Bildern oder Videos durch agentengesteuerte Workflows größere, vielfältigere und gelabelte Trainingsdatensätze zu erstellen. NVIDIA verweist Entwickler auf die Blueprints und kombinierbaren Skills von Cosmos Data Factory sowie auf einen Livestream über die Erstellung trainingsfertiger Datensätze mit zwei Prompts.
NVIDIA Developer: Build Training-Ready Physical AI Datasets with Two Prompts in NVIDIA Cosmos


