LanceDB schlägt Multi-Base-Pfade für verteilte Lance-Datasets vor

LanceDB hat Lances Multi-Base-Pfadmodell vorgestellt. Der Ansatz soll ein Dataset auf mehrere Speicherorte verteilen, ohne die Portabilität relativer Pfade aufzugeben. Nach Angaben des Unternehmens entstand die Arbeit aus einer Anforderung des KI-Infrastrukturteams von Uber.
- LanceDB hat Lances Multi-Base-Pfadmodell vorgestellt.
- Der Ansatz entstand aus einer Anforderung von Uber, ein Dataset auf mehrere S3-Buckets zu verteilen.
- Lance verwendet relative Pfade und eine festgelegte Verzeichnisstruktur.
- LanceDB bringt das Design mit Training, agentischer Suche und flachen Klonen in Verbindung.
Ein Speicherproblem im Petabyte-Maßstab
In einem Blogbeitrag vom 16. November 2026 erklärt LanceDB, dass Tabellenformate mehr leisten, als Dateien zu speichern. Sie legen fest, wie Daten zusammengesetzt werden, wobei Metadaten die Dateien verknüpfen, aus denen eine Tabelle besteht. Wie diese Verknüpfungen Pfade darstellen, kann sich auf Portabilität, Migration und den betrieblichen Aufwand auswirken, wenn Datasets den Petabyte-Maßstab erreichen.
Uber musste ein einzelnes Lance-Dataset auf mehrere S3-Buckets verteilen, um den Durchsatz zu erhöhen und gleichzeitig die Vorteile relativer Pfade beizubehalten. LanceDB stellt das Multi-Base-Layout als Antwort auf diese Anforderung vor. Der Beitrag nennt außerdem Anwendungsfälle mit multimodalen Daten, die auf Speicher-Buckets verteilt sind, mehr als 1K gleichzeitigen Lesern für Training und agentische Suche sowie null Kopien der Quelldaten bei flachen Klonen.
Warum bestehende Pfadmodelle Zielkonflikte schaffen
LanceDB zeichnet die Designdebatte anhand von Apache Iceberg und Delta Lake nach. Iceberg verwendete ursprünglich absolute Pfade. Damit lässt sich eine Datei ohne zusätzlichen Kontext identifizieren, und Dateien können außerhalb des Tabellenstamms liegen. Wird eine Tabelle jedoch verschoben, müssen unter Umständen die zahlreichen Metadaten- und Manifestdateien neu geschrieben werden, die diese Pfade enthalten. Laut dem Beitrag begann sich die Iceberg-Community Ende 2025 auf ein v4-Design mit relativen Pfaden zu verständigen, das Verschiebungen ohne Umschreiben der Metadaten ermöglichen soll.
Delta Lake startete mit relativen Pfaden in seiner im September 2019 veröffentlichten Protokollspezifikation. Im August 2021 erlaubte es später auch absolute Pfade und unterstützte damit Funktionen wie flache Klone, die im Dezember 2022 eingeführt wurden. Dieser hybride Ansatz schafft laut LanceDB mehr Flexibilität, macht die Pfadauflösung und Vorgänge wie die Vergabe von Zugangsdaten jedoch komplexer, wenn sich Dateien über mehrere Speicherorte verteilen.
Lance setzt auf vorhersehbare, relative Pfade
LanceDB zufolge wurde Lance auf Basis zweier Eigenschaften entwickelt: vorhersehbarer Dateiplatzierung und strikter Portabilität. Das Format definiert Verzeichnisse wie data/, _versions/, _transactions/, _deletions/ und _indices/. Wo möglich, kommen feste Pfade zum Einsatz, um die Auflösung deterministisch zu machen und die Größe von Manifesten zu reduzieren.
Das Unternehmen betont außerdem, dass jeder Pfad in Lance relativ ist. Deshalb erfordert das Kopieren eines Dataset-Verzeichnisses an einen anderen Ort keine Aktualisierung der Metadaten. LanceDB beschreibt dieses Verhalten als wichtig für KI-Teams, die Daten zwischen lokalen Experimenten, Cloud-Speichern, verteiltem Training und Analyseumgebungen verschieben.
Das Multi-Base-Modell wird als nächster Schritt präsentiert: Es soll ein über mehrere Speicherorte verteiltes Dataset ermöglichen und zugleich die Portabilität sowie die vorhersehbare Struktur bewahren, die LanceDB als zentrale Eigenschaften von Lance betrachtet. Für Nutzer großer KI-Datasets zielt der Vorschlag auf eine einfachere Verschiebung und Verteilung von Speicher ab, ohne dass das Format auf uneingeschränkte absolute Dateiverweise angewiesen ist.


