Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

LanceDB schlägt Multi-Base-Pfade für verteilte Lance-Datasets vor

16. November 2026, 18:17Von der KI Nachrichten RedaktionQuelle: LanceDB
LanceDB schlägt Multi-Base-Pfade für verteilte Lance-Datasets vor
Bild: LanceDB

LanceDB hat Lances Multi-Base-Pfadmodell vorgestellt. Der Ansatz soll ein Dataset auf mehrere Speicherorte verteilen, ohne die Portabilität relativer Pfade aufzugeben. Nach Angaben des Unternehmens entstand die Arbeit aus einer Anforderung des KI-Infrastrukturteams von Uber.

Das Wichtigste in Kürze
  • LanceDB hat Lances Multi-Base-Pfadmodell vorgestellt.
  • Der Ansatz entstand aus einer Anforderung von Uber, ein Dataset auf mehrere S3-Buckets zu verteilen.
  • Lance verwendet relative Pfade und eine festgelegte Verzeichnisstruktur.
  • LanceDB bringt das Design mit Training, agentischer Suche und flachen Klonen in Verbindung.

Ein Speicherproblem im Petabyte-Maßstab

In einem Blogbeitrag vom 16. November 2026 erklärt LanceDB, dass Tabellenformate mehr leisten, als Dateien zu speichern. Sie legen fest, wie Daten zusammengesetzt werden, wobei Metadaten die Dateien verknüpfen, aus denen eine Tabelle besteht. Wie diese Verknüpfungen Pfade darstellen, kann sich auf Portabilität, Migration und den betrieblichen Aufwand auswirken, wenn Datasets den Petabyte-Maßstab erreichen.

Uber musste ein einzelnes Lance-Dataset auf mehrere S3-Buckets verteilen, um den Durchsatz zu erhöhen und gleichzeitig die Vorteile relativer Pfade beizubehalten. LanceDB stellt das Multi-Base-Layout als Antwort auf diese Anforderung vor. Der Beitrag nennt außerdem Anwendungsfälle mit multimodalen Daten, die auf Speicher-Buckets verteilt sind, mehr als 1K gleichzeitigen Lesern für Training und agentische Suche sowie null Kopien der Quelldaten bei flachen Klonen.

Warum bestehende Pfadmodelle Zielkonflikte schaffen

LanceDB zeichnet die Designdebatte anhand von Apache Iceberg und Delta Lake nach. Iceberg verwendete ursprünglich absolute Pfade. Damit lässt sich eine Datei ohne zusätzlichen Kontext identifizieren, und Dateien können außerhalb des Tabellenstamms liegen. Wird eine Tabelle jedoch verschoben, müssen unter Umständen die zahlreichen Metadaten- und Manifestdateien neu geschrieben werden, die diese Pfade enthalten. Laut dem Beitrag begann sich die Iceberg-Community Ende 2025 auf ein v4-Design mit relativen Pfaden zu verständigen, das Verschiebungen ohne Umschreiben der Metadaten ermöglichen soll.

Delta Lake startete mit relativen Pfaden in seiner im September 2019 veröffentlichten Protokollspezifikation. Im August 2021 erlaubte es später auch absolute Pfade und unterstützte damit Funktionen wie flache Klone, die im Dezember 2022 eingeführt wurden. Dieser hybride Ansatz schafft laut LanceDB mehr Flexibilität, macht die Pfadauflösung und Vorgänge wie die Vergabe von Zugangsdaten jedoch komplexer, wenn sich Dateien über mehrere Speicherorte verteilen.

Lance setzt auf vorhersehbare, relative Pfade

LanceDB zufolge wurde Lance auf Basis zweier Eigenschaften entwickelt: vorhersehbarer Dateiplatzierung und strikter Portabilität. Das Format definiert Verzeichnisse wie data/, _versions/, _transactions/, _deletions/ und _indices/. Wo möglich, kommen feste Pfade zum Einsatz, um die Auflösung deterministisch zu machen und die Größe von Manifesten zu reduzieren.

Das Unternehmen betont außerdem, dass jeder Pfad in Lance relativ ist. Deshalb erfordert das Kopieren eines Dataset-Verzeichnisses an einen anderen Ort keine Aktualisierung der Metadaten. LanceDB beschreibt dieses Verhalten als wichtig für KI-Teams, die Daten zwischen lokalen Experimenten, Cloud-Speichern, verteiltem Training und Analyseumgebungen verschieben.

Das Multi-Base-Modell wird als nächster Schritt präsentiert: Es soll ein über mehrere Speicherorte verteiltes Dataset ermöglichen und zugleich die Portabilität sowie die vorhersehbare Struktur bewahren, die LanceDB als zentrale Eigenschaften von Lance betrachtet. Für Nutzer großer KI-Datasets zielt der Vorschlag auf eine einfachere Verschiebung und Verteilung von Speicher ab, ohne dass das Format auf uneingeschränkte absolute Dateiverweise angewiesen ist.

Ähnliche Meldungen

LanceDB ergänzt GPU-Beschleunigung für groß angelegte Vektorindizierung
Für Entwickler19. November 2026, 08:16

LanceDB ergänzt GPU-Beschleunigung für groß angelegte Vektorindizierung

LanceDB hat die GPU-Beschleunigung für das Training von Vektorindizes ergänzt. Nutzer mit Nvidia-GPUs oder unterstützten Apple-Silicon-Geräten können beim Erstellen von…

Together AI startet kostenloses Caching für GPU-Cluster
Produkte und Tools19. November 2026

Together AI startet kostenloses Caching für GPU-Cluster

Together AI hat den Together Storage Accelerator gestartet, eine verteilte Caching-Schicht für seine GPU Clusters, die wiederholte Datenzugriffe aus lokalem…

Fivetran erklärt, wie Apache Polaris verwaltete Iceberg-Tabellen katalogisiert
Produkte und Tools18. November 2026, 05:00

Fivetran erklärt, wie Apache Polaris verwaltete Iceberg-Tabellen katalogisiert

Fivetran hat eine Anleitung zur Nutzung von Apache Polaris als Katalog hinter seinem Managed Data Lake Service veröffentlicht. Der Dienst verwendet Polaris, um eine…