Hesai bringt Kosmo auf den Markt: 3D-Welt-Dateninfrastruktur für das Training von Physical AI

Hesai Group hat Kosmo vorgestellt, eine 3D-Welt-Dateninfrastruktur, die eine KI-Raumkamera mit einer Cloud-Plattform verbindet und reale Umgebungen in Trainingsdaten für Roboter und World Models verwandelt. Nach Angaben des Unternehmens setzt das System an einem zentralen Engpass der Physical AI an: dem Zugang zu hochwertigen Daten aus der realen Welt in großem Maßstab.
- Hesai hat Kosmo vorgestellt, das die 8K-KI-Raumkamera Kosmo One mit der Cloud-Plattform Kosmo World kombiniert.
- Laut Hesai kann eine Person einen typischen Innenraum von 100 Quadratmetern in etwa 15 Minuten scannen.
- Beim Einsatz in einer Dairy-Queen-Filiale erreichte der Sharpa-Roboter nach Angaben von Hesai eine Aufgabenerfolgsquote von 99 Prozent.
- Hesai gab Partnerschaften mit Galbot und Dexmal bekannt und zeigte Projekte mit Pixars RenderMan und Amap.
- Kosmo lässt sich in NVIDIA Isaac Sim, Isaac Lab, Unreal Engine, RenderMan und Houdini integrieren.
Kamera und Cloud-Plattform
Kosmo besteht aus zwei Teilen. Kosmo One bezeichnet Hesai als die weltweit erste 8K-Ultra-HD-KI-Raumkamera. Sie vereint hochauflösendes Lidar, einen 1-Zoll-Bildsensor und eine hochpräzise inertiale Messeinheit (IMU), um Geometrie, Farbe, Textur und Kameraposition mit einer Synchronisation im Mikrosekundenbereich zu erfassen.
Die Rekonstruktion erfolgt mit 3D Gaussian Splatting (3DGS), das nach Angaben von Hesai eine geometrische Genauigkeit im Millimeterbereich erreicht. Laut Unternehmen kann eine einzelne Person einen typischen Innenraum von 100 Quadratmetern in etwa 15 Minuten scannen. Der zweite Teil, die Cloud-Plattform Kosmo World, verarbeitet die erfassten Daten laut Hesai mit bis zu etwa fünffacher Geschwindigkeit vergleichbarer Produkte zu 3D-Modellen.
Kosmo World erzeugt 3DGS-, Mesh- und Tiefendaten in einem einzigen Rekonstruktionsdurchlauf. Generative KI füllt nicht gescannte Bereiche auf, und KI-gestützte semantische Segmentierung erkennt einzelne Objekte. Die Ansichten lassen sich an die Kameraeigenschaften eines Roboters anpassen, was laut Hesai dazu beiträgt, die Lücke zwischen Simulation und realem Betrieb zu verkleinern.
Robotertraining und World Models
Hesai verweist auf einen Einsatz in einer Dairy-Queen-Eisdiele. Dort habe die Erstellung einer 3D-Trainingsumgebung zuvor rund 300 Stunden manuelle Modellierung durch ein Fachteam erfordert, so das Unternehmen. Mit Kosmo dauerten Scan und Rekonstruktion 15 Minuten. Bei diesem Einsatz erreichte der Roboter von Sharpa eine Aufgabenerfolgsquote von 99 Prozent, die Fehlerquote sank auf ein Zehntel des vorherigen Werts, sodass der Roboter den Betrieb in einem echten Geschäft aufnehmen konnte.
Für die Entwicklung von World Models liefert Kosmo geometrisch präzise 3D-Szenen mit exakten Kamerapositionen, Tiefeninformationen und konsistenten Ansichten aus mehreren Blickwinkeln. Aus einem einzigen erfassten Raum lassen sich laut Hesai automatisch mehr als 10.000 Trainingstrajektorien erzeugen. Entwickler erhielten so bei gleichen Kosten mehr als das Hundertfache an hochwertigen Trainingsdaten.
Bei der Präsentation gab Hesai zudem Partnerschaften mit den Embodied-AI-Unternehmen Galbot und Dexmal bekannt.
Film, Kulturerbe und Karten
Hesai positioniert Kosmo auch für kreative und kommerzielle Anwendungen. Im Film lässt sich ein Drehort einmal erfassen und von der Previsualisierung bis zur Postproduktion wiederverwenden, unter anderem in Werkzeugen wie Unreal Engine. Laut Hesai kann eine europäische Straßenkulisse von 10.000 Quadratmetern, deren Bau als physisches Set zwei Monate dauern würde, innerhalb einer Woche gescannt, rekonstruiert und bearbeitet werden, mit potenziellen Kosteneinsparungen von bis zu 80 Prozent. Workflows rund um Pixars RenderMan sind bereits im Einsatz, und RenderMan hat ein offizielles Tutorial veröffentlicht. Zudem arbeitet Hesai mit Yuemo Studio an KI-gestützter Filmproduktion.
Im Bereich Kulturerbe arbeitet Hesai mit TRIC, einem Partner der Vereinten Nationen, an einem immersiven digitalen Kunstwerk zum Du-Fu-Strohhütten-Museum in Chengdu. Mit Amap sind Rekonstruktionen des Gravity Art Museum und der PIFO Gallery in der Funktion „Flying Street View“ live. Hesai zufolge erreicht Amap fast eine Milliarde monatlich aktive Nutzer, das erklärte Ziel ist es, die Navigation vom Finden eines Geschäfts bis zum Auffinden eines Produkts darin zu erweitern.
Offenes Ökosystem und Geschäftsmodelle
Hesai beschreibt Kosmo als offenes Ökosystem für räumliche Intelligenz, mit offenem Zugang zu Rohdaten der Erfassung und 3D-Assets sowie Integration mit NVIDIA Isaac Sim, Isaac Lab, Unreal Engine, RenderMan und Houdini. Es unterstützt zwei Geschäftsmodelle: integrierte Hard- und Softwarelösungen für Kunden aus Robotik, Medien und anderen Branchen sowie Dienstleistungen, die räumliche Daten aus der realen Welt in großem Umfang für Entwickler von World Models und Physical AI erzeugen.
Der Start ist Teil einer breiteren Offensive. Hesai gibt an, dass sich die Lidar-Auslieferungen seit neun Jahren in Folge jährlich verdoppelt haben und das Unternehmen bei ADAS für Pkw und Robotaxis eine weltweit führende Position innehat. Auch im Bereich robotischer Aktorik wächst Hesai: Seine Module treiben die Geschicklichkeitshand Wave von Sharpa an, die kumulierten Auslieferungen überschritten bis Ende des zweiten Quartals 2026 die Marke von 10.000 Stück, und für 2027 werden Stückzahlen im sechsstelligen Bereich erwartet.
Was das bedeutet
Sollten sich Hesais Zahlen im breiteren Einsatz bestätigen, könnte Kosmo Zeit und Kosten beim Aufbau von Simulationsumgebungen für Roboterentwickler senken und Studios sowie Kartenplattformen einen schnelleren Weg bieten, reale Orte zu digitalisieren. Die Leistungsangaben stammen vom Unternehmen selbst und beruhen auf eigenen Tests und Produktvergleichen. CEO Dr. Yifan „David“ Li nennt 3D-Weltdaten und robotische Bewegung Hesais „zweiten Wachstumstreiber“.

