NVIDIA stellt Simulationswerkzeuge für präzisere Roboterfähigkeiten vor
NVIDIA stellt auf der Conference on Robot Learning in Austin, Texas, offene Robotiktechnologien vor, mit denen Roboter heikle Aufgaben wie das Ausrichten von Zahnrädern, das Verbinden von Kabeln und die Montage kleiner Komponenten erlernen sollen. Das Unternehmen präsentiert außerdem GR00T 2, Simulationserweiterungen und Evaluierungswerkzeuge für die Entwicklung leistungsfähigerer physischer Roboter.
- NVIDIA hat GR00T 2 vorgestellt, ein offenes World-Action-Modell für die Manipulation durch Roboter.
- GR00T 2 erreichte mit fünf Demonstrationen über 50 Aufgaben hinweg eine durchschnittliche Erfolgsquote von 95 %.
- Isaac Lab 3.0 mit Newton erzielte in einem Benchmark einen bis zu 2,5-fachen Trainingsdurchsatz.
- AlphaNIST trainierte eine Policy für 20 Präzisionsmontageaufgaben.
- Isaac Lab Arena 0.4 ergänzt die skalierte Evaluierung unter wechselnden industriellen Bedingungen.
GR00T 2 zielt auf geschickte Roboterfähigkeiten
NVIDIA beschreibt GR00T 2 als offenes Frontier-World-Action-Modell, das auf NVIDIA Cosmos basiert. Das Modell wurde mit vielfältigen Roboter- und Humandaten trainiert, darunter 100,000 Stunden offener, menschenzentrierter Egoperspektivdaten von NVIDIA, und soll Robotern dabei helfen, Manipulationsfähigkeiten zu erlernen.
NVIDIA zufolge absolvierte GR00T 2 40 von 50 bewerteten Aufgaben mindestens einmal ohne aufgabenspezifische Demonstrationen. Bei einer Demonstration pro Aufgabe erreichte das Modell über 50 Aufgaben hinweg eine durchschnittliche Erfolgsquote von 71 %, bei fünf Demonstrationen stieg sie auf 95 %. Das Modell kann außerdem aus Demonstrationen von Menschen lernen und Fähigkeiten zwischen verschiedenen Roboterkörpern übertragen, ohne dass dafür Roboter-Demonstrationen erforderlich sind.
Laut NVIDIA können KI-Agenten die Application Programming Interface von GR00T 2 und unterstützende Werkzeuge nutzen, um Fähigkeiten nacheinander auszuführen und sich von Fehlern zu erholen. Nexuni testet das Modell für den robotergestützten Umgang mit Wäsche, während Foxconn es für die Fabrikautomatisierung bei der Serverfertigung einsetzt. Siemens evaluiert es für verschiedene industrielle Anwendungsfälle, und MicroAGI verwendet eine durch Reinforcement Learning nachtrainierte Version zum Austausch von Ethernet-Kabeln mit einem YAM-Roboterarm.
Isaac Lab und Newton bringen das Training in die Simulation
NVIDIAs Open-Source-Framework für Roboterlernen Isaac Lab 3.0 ermöglicht es Forschern, Trainingsumgebungen mit simulationsbereiten Assets einzurichten, zwischen den Physik-Lösern NVIDIA PhysX und Newton zu wechseln, Renderer für wahrnehmungsbasiertes Training auszuwählen und eine Bibliothek für das Nachtraining per Reinforcement Learning auf Foundation-Modelle wie GR00T anzuwenden.
Newton, die Open-Source-Physik-Engine von NVIDIA, unterstützt deformierbare Objekte wie Kabel und Stoff sowie komplexe artikulierte Systeme, darunter Roboterhände mit vielen miteinander interagierenden Gelenken. NVIDIA zufolge erreichte Isaac Lab 3.0 mit Newton in einem visuellen Benchmark für geschickte Manipulation einen bis zu 2,5-fachen Trainingsdurchsatz von Isaac Lab 2.3 mit PhysX.
In einem weiteren Beispiel nutzt AlphaNIST Isaac Lab, um eine Policy für alle 20 Aufgaben des NIST Assembly Task Board zu trainieren. NVIDIA zufolge erreichte sie eine Trainingserfolgsquote von mehr als 98 %, verglichen mit 81 % bei separaten Policies pro Aufgabe, und benötigte dabei ungefähr 39-mal weniger GPU-Zeit. Success Guided Sampling der University of Washington und von NVIDIA konzentriert das Training auf Aufgaben, die eine Policy in etwa der Hälfte der Fälle erfolgreich bewältigt, und kann das Training auf mehr als eine Million parallele Umgebungen skalieren.
Benchmarks sollen Fehler vor dem Einsatz sichtbar machen
NVIDIA präsentiert außerdem Isaac Lab Arena, ein Open-Source-Framework für die skalierte Evaluierung von Policies. Entwickler können damit wiederholbare Evaluierungen erstellen und Policies parallel über Tausende Variationen hinweg ausführen. Die daraus entstehenden Analysen zeigen, unter welchen Bedingungen Fehler auftreten, und helfen Forschern bei der Entscheidung, was in späteren Trainingsläufen verbessert werden sollte.
Die Developer Preview von Isaac Lab Arena 0.4 wird auf der CoRL vorgestellt. NVIDIA zufolge gehören DexBench und VABAR zu den ersten neuen offenen Benchmarks, die mithilfe von Isaac Lab Arena und Newton die Geschicklichkeit und Anpassungsfähigkeit von Robotern bei industriellen Aufgaben messen sollen. Die Quelle beschreibt diese Werkzeuge als Teil einer umfassenderen Entwicklung weg von der Fortbewegung von Robotern hin zur Manipulation. Simulationen können Forschern dabei helfen, Fähigkeiten zu trainieren, zu testen und zu verfeinern, bevor physische Maschinen zum Einsatz kommen.
NVIDIA arbeitet mit Partnern wie Ambi Robotics, Bosch Research, Dexmate, Dyna Robotics, FieldAI, Flexion, Noitom Robotics, Siemens, Skild AI, RLWRLD, UC Berkeley, Walden Robotics und der University of Washington zusammen. Die Beispiele des Unternehmens deuten darauf hin, dass der unmittelbare Schwerpunkt darauf liegt, Forschern und industriellen Entwicklern mehr Möglichkeiten zu geben, komplexe Arbeiten zu proben, Schwachstellen zu identifizieren und die Leistung von Robotern vor dem Einsatz zu verbessern.
