LanceDB hebt Robotiktraining, DataFusion-Joins und LLM-Pipelines hervor

LanceDB zufolge kann LeRobot v0.7.0 auf in Lance-Tabellen gespeicherten Roboterdatensätzen trainieren, ohne diese herunterzuladen. Außerdem unterstützt die aktuelle Entwicklung ASOF JOIN in Apache DataFusion und zeigt das Vortraining eines LLM aus einer einzigen Tabelle.
- LeRobot v0.7.0 trainiert auf Lance-Tabellen, ohne Datensätze herunterzuladen.
- Die ursprünglichen MP4-Dateien bleiben als Blobs erhalten, und die Frames werden direkt vor Ort gelesen.
- Apache DataFusion enthält jetzt ASOF JOIN, das von Ingenieuren von LanceDB beigesteuert wurde.
- Ein Leitfaden speichert 2.43B GPT-2-Tokens in einer einzigen LanceDB-Tabelle.
- Lance- und LanceDB-Versionen ergänzen Indizes, materialisierte Sichten und Sicherheitsänderungen.
LeRobot trainiert direkt aus Lance-Tabellen
Der Hub enthält laut LanceDB inzwischen fast 300 TB offene Roboterdaten im LeRobot-Format. Mit LeRobot v0.7.0 können Nutzer auf diesen Daten trainieren, ohne sie herunterzuladen. Die gemeinsam mit dem LanceDB-Team entwickelte Version liest Datensätze, die als Lance-Tabellen gespeichert sind, und behält die ursprünglichen MP4-Dateien als Blobs bei.
Dadurch werden die Videos nicht neu codiert und die Frames direkt vor Ort gelesen. LanceDB zufolge ermöglicht dieser Ansatz ein echtes globales Mischen bei der Geschwindigkeit einer lokalen Festplatte. Die bestehende LeRobotDataset-API bleibt unverändert. Nutzer können einen vorhandenen Datensatz mit lerobot-lance-convert konvertieren und ihn in lerobot-dataset-viz durchsuchen.
DataFusion erhält ASOF JOIN für zeitlich abgestimmte Daten
Ingenieure von LanceDB haben Apache DataFusion, die hinter LanceDBs SQL stehende Abfrage-Engine, um ASOF JOIN erweitert. Die Funktion ist für Daten gedacht, die mit unterschiedlichen Frequenzen aufgezeichnet werden, etwa Kamerabilder und Roboterzustände.
Für jeden Frame findet ein ASOF-Join den aktuellsten Zustand zum oder vor dem Zeitstempel des Frames. Da die Funktion Teil von Apache DataFusion ist, steht sie laut LanceDB allen DataFusion-Nutzern zur Verfügung. Der Beitrag folgt auf Arbeiten an LeRobot, Apache OpenDAL, CocoIndex und ICU4X.
Eine LanceDB-Tabelle unterstützt einen Leitfaden zum LLM-Vortraining
Der Leitfaden von LanceDB behandelt ein gängiges Pipeline-Muster, bei dem jede Vortrainingsphase einen neuen Datensatz schreibt. In diesem Setup kann eine Änderung der Blocklänge oder eines Filters einen erneuten Aufbau erfordern. Das Beispiel speichert stattdessen Rohtext, Deduplizierungskennzeichen und 2.43B GPT-2-Tokens in einer einzigen LanceDB-Tabelle.
Sequenzen werden beim Lesen innerhalb von StreamingDataset gepackt. Laut LanceDB wird Rohtext in 11 Minuten trainingsbereit, während GPT-2 124M im Leitfaden mit 3.18M Tokens/s und 34.5% MFU trainiert. Der Ansatz soll Änderungen an der Datenaufbereitung ermöglichen, ohne jeden Zwischendatensatz neu erstellen zu müssen.
Updates bei Speicher und Ökosystem erweitern die Plattform
Der Newsletter führt außerdem Veröffentlichungen für Lance, LanceDB, lance-namespace-impls und lance-spark auf. Lance v13.0.0 bis v14.0.2 ergänzt die feldübergreifende Volltextsuche BM25F, einen experimentellen skalaren MinHash-LSH-Index und Änderungen an skalaren Btree-Indizes. LanceDB v0.40.0 bis v0.41.0 bringt materialisierte Sichten mit SQL-Definition, neue Builder für skalare Indizes, FTS-Indizes für JSON-Felder und eine umfassendere Blob-Verarbeitung in Node.js.
Eine sicherheitsbezogene Änderung sorgt dafür, dass in Tabellenmetadaten gespeicherte Konfigurationen für Embeddings standardmäßig nicht mehr vertrauenswürdig sind. SentenceTransformerEmbeddings.trust_remote_code steht standardmäßig auf False; wiederhergestellter Remote-Code oder benutzerdefinierte Endpunkte erfordern eine ausdrückliche Freigabe.
Für Nutzer verbinden die Updates Robotiklernen, analytische Joins, Datensatzaufbereitung und Indexierung innerhalb des umfassenderen Open-Source-Ökosystems von LanceDB. Die Ankündigung von LanceDB stellt die Änderungen als praktische Möglichkeiten dar, Datenbewegungen zu reduzieren, wiederholte Neuaufbauten zu vermeiden und die Arbeit mit großen Datensätzen zu verbessern. Nutzer von DataFusion können den neuen zeitbasierten Join unabhängig von LanceDB verwenden.


