Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Lance File 2.1 erreicht stabile Version mit Kompression und Direktzugriff

19. November 2026, 08:16Von der KI Nachrichten RedaktionQuelle: LanceDB
Lance File 2.1 erreicht stabile Version mit Kompression und Direktzugriff
Bild: LanceDB

LanceDB hat Version 2.1 des Lance-Dateiformats nach einer Beta-Phase für stabil erklärt. Die Version ergänzt kaskadierende Kodierung und Kompression, behält aber laut LanceDB die für das Format zentrale Leistung beim Direktzugriff bei.

Das Wichtigste in Kürze
  • Lance File 2.1 ist nach einer Beta-Phase jetzt stabil.
  • Das Format ergänzt laut LanceDB Kompression, ohne die Leistung beim Direktzugriff zu beeinträchtigen.
  • Lance 0.38.0 ist die erste Version mit vollständiger Unterstützung zum Lesen von Dateien der Version 2.1.
  • Bestehende Datensätze der Version 2.0 können unverändert bleiben und werden weiterhin gepflegt.
  • LanceDB erwartet, dass 2.1 die letzte Version sein wird, für deren Upgrade eine Kopie des Datensatzes erforderlich ist.

Stabiles Format mit Abwärtskompatibilität

In einem Blogbeitrag vom 3. Oktober 2025 erklärte LanceDB, die Spezifikation von Version 2.1 dokumentiert zu haben. Mögliche inkompatible Änderungen sollen demnach Bestandteil von Version 2.2 werden. Das Unternehmen verpflichtet sich zur Abwärtskompatibilität für 2.1.

Die wichtigste Einschränkung von Lance File 2.0 war das Fehlen einer Kompression. LanceDB wollte mit 2.1 eine kaskadierende Kodierung und Kompression hinzufügen, ohne die Leistung beim Direktzugriff zu beeinträchtigen. Nach eigenen Angaben hat das Unternehmen dieses Ziel erreicht.

Im Zusammenhang mit einer aktuellen Studie zur Leistung beim Direktzugriff schrieb LanceDB: „Ich schätze, das bedeutet, dass wir immer noch die Schnellsten sind.“ Diese Aussage ist die eigene Einordnung des Ergebnisses durch das Unternehmen.

Das bringt Lance File 2.1

Neben der Kompression führt das Format mehrere weitere Änderungen ein. Laut LanceDB kann 2.1 die Zahl der IOPS beim Lesen verschachtelter Daten reduzieren, darunter Listen und Structs. Außerdem lassen sich Null-Structs von Nullwerten unterscheiden.

Ein optionaler Cache für den Wiederholungsindex kann die Zahl der IOPS bei Daten variabler Breite weiter senken. LanceDB weist jedoch darauf hin, dass dies mit einem höheren Speicherverbrauch einhergeht. Die Änderungen sollen die Speicher- und Leseeffizienz bei bestimmten Datenlayouts und Workloads verbessern.

Voraussichtlich profitieren vor allem Workflows, die kleinere Spalten durchsuchen. Bei ihnen ist laut LanceDB typischerweise die Bandbreite des Datenträgers der begrenzende Faktor. Vektoreinbettungen, Bilder und Audiodaten könnten insgesamt weniger stark profitieren, da sie bereits vorkomprimiert sind und den Großteil eines Datensatzes ausmachen können. LanceDB empfiehlt, zunächst eine Teilmenge der Daten zu konvertieren, um zu prüfen, ob sich dadurch die Größe oder Leistung spürbar verbessert.

Hinweise zum Upgrade und der Weg zu 2.2

Die Speicherversion wird für jeden Datensatz festgelegt. Nutzer, die mit der Leistung eines Datensatzes der Version 2.0 zufrieden sind, müssen nicht aktualisieren. LanceDB will 2.0 weiterhin pflegen. Um die Funktionen von 2.1 zu nutzen, muss ein Datensatz jedoch kopiert und mit data_storage_version="2.1" geschrieben werden.

Lance 0.38.0 ist die erste Version mit vollständiger Unterstützung zum Lesen von Dateien der Version 2.1. LanceDB empfiehlt, die Software vor dem Schreiben von 2.1-Dateien auf 0.38.0 oder höher zu aktualisieren, da ältere Lesekomponenten beim Umgang mit Dateien aus neueren Versionen Probleme verursachen können. Version 2.1 ist in 0.38.0 nicht standardmäßig aktiviert und muss daher ausdrücklich ausgewählt werden.

Die Arbeiten an 2.2 haben begonnen. LanceDB erwartet, dass 2.1 die letzte Version sein wird, für deren Upgrade eine Kopie des Datensatzes erforderlich ist, und hofft, in 2.2 Datensätze mit gemischten Versionen unterstützen zu können. Geplant sind unter anderem eine umfassendere Kompressionsunterstützung, das Packen von Structs variabler Breite und eine verbesserte JSON-Kodierung. Bis dahin sollten Teams, die ältere Lance-Versionen in einer gemischten Umgebung verwenden, beim Erstellen von Datensätzen ausdrücklich die Speicherversion 2.0 festlegen.

Ähnliche Meldungen

Lance führt Community-Governance für sein offenes Format ein
Für Entwickler19. November 2026, 08:16

Lance führt Community-Governance für sein offenes Format ein

Lance hat eine formelle Governance-Struktur für seine Community rund um das offene Format eingeführt. Sie definiert Wege zur Mitarbeit, Führungsrollen und…

LanceDB ergänzt GPU-Beschleunigung für groß angelegte Vektorindizierung
Für Entwickler19. November 2026, 08:16

LanceDB ergänzt GPU-Beschleunigung für groß angelegte Vektorindizierung

LanceDB hat die GPU-Beschleunigung für das Training von Vektorindizes ergänzt. Nutzer mit Nvidia-GPUs oder unterstützten Apple-Silicon-Geräten können beim Erstellen von…

Lance und DuckDB bringen Vektor- und hybride Suche in SQL
Für Entwickler19. November 2026, 08:16

Lance und DuckDB bringen Vektor- und hybride Suche in SQL

Lance hat eine DuckDB-Erweiterung vorgestellt, die Vektor-, Volltext- und hybride Suche direkt in SQL-Abfragen ermöglicht. Die Integration soll multimodale Datensätze…