NVIDIA stellt Alpamayo 2 Edge für Echtzeit-Reasoning im autonomen Fahren vor

Kompaktes Modell für das Fahren an Bord

Alpamayo 2 Edge basiert auf einem Nemotron-Reasoning-Backbone von NVIDIA Cosmos 3 Edge mit 2B Parametern und ist mit einem Diffusions-Aktionsexperten kombiniert. Laut NVIDIA verarbeitet das Modell Beobachtungen von Surround-Kameras, zeitliche Kontexte, die historische Eigenbewegung und Navigationseingaben, um künftige Fahrtrajektorien zu erzeugen.

Das Modell nutzt Reasoning nach dem Chain-of-Causation-Verfahren, allerdings adaptiv. Bei Bedarf kann es Schlussfolgerungen generieren und zu anderen Zeitpunkten spezielle <NOMINAL>-Tokens anstelle von Reasoning-Spuren verwenden. Laut NVIDIA reduziert dieser Ansatz die unnötige Token-Erzeugung und spart bei routinemäßigen Fahrsituationen Inferenz-Rechenleistung.

Zur Entwicklung gehören außerdem Offline-Destillation mit Chain-of-Causation-Autolabels, die von Alpamayo 2 Super erzeugt wurden, Eingaben mit mehreren Auflösungen für Surround-View-Beobachtungen sowie spekulatives Decoding mit DFlash2. NVIDIA stellt zudem Rezepte für Quantisierung und Inferenzbeschleunigung mit TensorRT und NVIDIA TensorRT-Edge-LLM bereit.

Bestärkendes Lernen und Bewertung des Reasonings

NVIDIA zufolge wurde Alpamayo 2 Edge mit Closed-Loop-Reinforcement-Learning in AlpaGym nachtrainiert. Nach Angaben des Unternehmens verbesserte sich die Closed-Loop-Fahrleistung dadurch um 48,9 % gegenüber dem leistungsstärksten Checkpoint ohne Closed-Loop-Reinforcement-Learning.

Im Entwicklungsprozess kommt AlpaJudge zum Einsatz, ein am menschlichen Urteil kalibriertes Bewertungs- und Belohnungsmodell zur Beurteilung von Reasoning-Spuren. NVIDIA beschreibt referenzbasierte und referenzfreie Varianten namens AlpaJudge-RB und AlpaJudge-RF für unterschiedliche Arten von Belegen.

Das Unternehmen skizziert drei Arbeitsabläufe für Entwickler. Sie können AlpaJudge auf PhysicalAI-AV-Beispiele anwenden, seine Bewertungen nutzen, um besonders wertvolle Trainingsbeispiele zu identifizieren, und am menschlichen Urteil ausgerichtete Reasoning-Bewertungen während des Nachtrainings als Belohnungen einsetzen. NVIDIA stellt diese Arbeitsabläufe als wiederholbaren Prozess zur Messung und Verbesserung eines Edge-Fahrmodells dar.

Latenzgrenzen auf DRIVE AGX Thor im Visier

NVIDIAs Bereitstellungsrezepte nutzen TensorRT und DFlash2, um die Inferenz auf DRIVE AGX Thor zu optimieren. Nach Angaben des Unternehmens erreichen sie auf der Plattform eine Pixel-zu-Trajektorie-Latenz von 160 bis 190 ms.

NVIDIA berichtet außerdem, dass Alpamayo 2 Edge in AlpaSim eine etwa 40-mal größere Distanz zwischen von ihm verschuldeten Vorfällen erreicht. Dabei handelt es sich um vom Unternehmen gemeldete Ergebnisse, während Rückmeldungen von Partnern frühe Tests in Simulationen und Fahrzeugen beschreiben.

PORT-CTO Metas Simonavicius sagte, das Modell sei innerhalb weniger Tage nach dem frühen Zugang in NuRec-Rekonstruktionen der Londoner Straßenaufnahmen des Unternehmens im Closed Loop gelaufen. Embedl-CEO und Mitgründer Hans Salomonsson sagte: „In weniger als 48 Stunden haben wir NVIDIA Alpamayo 2 Edge auf AGX Thor mit 10 Hz für die Echtzeitplanung zum Laufen gebracht.“

Entwickler können Alpamayo 2 Edge und AlpaJudge auf Hugging Face testen. Fragen und Diskussionen verweist NVIDIA an das Alpamayo-Entwicklerforum. Die Veröffentlichung bietet AV-Teams ein auf Edge-Systeme ausgerichtetes Modell, Optimierungshilfen und Bewertungswerkzeuge, um Reasoning-basiertes Fahren innerhalb der Grenzen von Onboard-Rechenleistung und Latenz zu testen.