Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Lance File 2.1 zielt auf kleinere Dateien und schnelleren wahlfreien Zugriff

19. November 2026, 08:16Von der KI Nachrichten RedaktionQuelle: LanceDB
Lance File 2.1 zielt auf kleinere Dateien und schnelleren wahlfreien Zugriff
Bild: LanceDB

Lance File 2.1 ist als Beta gestartet. Das überarbeitete Kodierungssystem soll die Dateigröße reduzieren und den Zugriff auf einzelne Werte verbessern. Laut Lance baut das Update auf dem Format 2.0 auf und berücksichtigt Erfahrungen aus der Community sowie aus Produktiveinsätzen.

Das Wichtigste in Kürze
  • Lance File 2.1 ist als Beta gestartet.
  • Das Format trennt strukturelle Kodierung von Kompressionskodierung.
  • Laut Lance kann 2.1 auf jeden Wert mit einer oder zwei IOPs zugreifen.
  • Das Design behält die 2.0-Struktur aus Seiten, Spaltenbeschreibungen und einem Dateifuß bei.
  • Laut Lance waren Scans mit 2.0 teilweise schneller als mit Parquet, obwohl die Dateien 2-3 Mal größer waren.

Ein kleineres, flexibleres Format

In einem Blogbeitrag beschrieb Lance-Ingenieur Weston Pace Version 2.1 als Ergebnis mehrmonatiger Arbeit mit der Community und Anwendern im Produktivbetrieb. Das Format 2.0 wurde nach einer Beta-Phase im vergangenen Herbst zum Standarddateiformat von Lance.

Laut Pace entfernte das Design von 2.0 erfolgreich die Zeilengruppen, ohne Parallelität oder Leistung zu beeinträchtigen. Lance entwickelte außerdem eine Planung, die die I/O-Warteschlange auslasten und zugleich ein festgelegtes Maß an Parallelität einhalten soll. Nach Angaben von Lance konnte das Format dadurch in einigen Fällen die Scan-Leistung von Parquet erreichen oder übertreffen, obwohl die Lance-Datei 2-3 Mal größer war.

Die grundlegende Dateistruktur bleibt weitgehend unverändert. Laut Lance bilden Seiten, Spaltenbeschreibungen und ein Dateifuß eine einfache und flexible Grundlage. Die wesentlichen Änderungen in 2.1 betreffen die Kodierungen, deren Design das Team umfassend überarbeitet hat.

Struktur und Kompression werden getrennt

Lance File 2.1 unterteilt die Kodierung in zwei Konzepte: strukturelle Kodierung und Kompressionskodierung. Die strukturelle Kodierung legt fest, wie ein Array in Puffer aufgeteilt wird, während die Kompressionskodierung bestimmt, wie diese Puffer komprimiert werden.

Diese Unterscheidung ist für ein Format wichtig, das multimodale Daten wie Embeddings, Tensoren, Audio, Video und Bilder verarbeiten soll. Laut Lance sind diese Datentypen häufig bereits komprimiert, weshalb die Kompression in Version 2.0 eine geringere Priorität hatte. Für Metadaten, Vorfilterung und textlastige Datensätze wie Common Crawl, Fineweb und Github Code bleibt sie jedoch relevant.

Das neue Design berücksichtigt außerdem den Zielkonflikt zwischen Kompression und wahlfreiem Zugriff. Laut Lance können transparente Verfahren wie Bit-Packing den wahlfreien Zugriff unterstützen, während opake Verfahren wie Delta-Kodierung dies möglicherweise nicht tun. Die für einen Wert gewählte strukturelle Kodierung beeinflusst, welche Kompressionskodierungen verwendet werden können.

Ziel: ein bis zwei IOPs pro Wert

Eines der zentralen Ziele von Lance für Version 2.1 ist die von Pace so genannte „1-2-IOP-Herausforderung“. Für Datentypen mit fester Breite soll der Zugriff in einer einzigen I/O-Operation beziehungsweise IOP erfolgen. Datentypen variabler Breite sollen zwei benötigen.

In Lance 2.0 konnte ein einzelner Wert in einem komplexen Typ wie einer Liste von Zeichenketten sechs IOPs erfordern. Zu den benötigten Informationen konnten Gültigkeitspuffer, Listen- und Zeichenketten-Offsets sowie Zeichenkettenwerte gehören. Laut Lance kombiniert Version 2.1 strukturelle Kodierungen mit einem Wiederholungsindex, um diesen Aufwand zu reduzieren.

Nach Angaben des Unternehmens ermöglicht das Ergebnis den Zugriff auf jeden Wert mit einer oder zwei IOPs, unabhängig von der Komplexität des Datentyps oder der Anzahl der Gültigkeitsebenen. Das Format 2.1 befindet sich in der Beta-Phase. Die Ankündigung beschreibt daher eher das Design und die Richtung als einen endgültigen Veröffentlichungsplan.

Ähnliche Meldungen

Lance führt Community-Governance für sein offenes Format ein
Für Entwickler19. November 2026, 08:16

Lance führt Community-Governance für sein offenes Format ein

Lance hat eine formelle Governance-Struktur für seine Community rund um das offene Format eingeführt. Sie definiert Wege zur Mitarbeit, Führungsrollen und…

LanceDB ergänzt GPU-Beschleunigung für groß angelegte Vektorindizierung
Für Entwickler19. November 2026, 08:16

LanceDB ergänzt GPU-Beschleunigung für groß angelegte Vektorindizierung

LanceDB hat die GPU-Beschleunigung für das Training von Vektorindizes ergänzt. Nutzer mit Nvidia-GPUs oder unterstützten Apple-Silicon-Geräten können beim Erstellen von…

Lance v2 nimmt sich KI-Workloads mit flexiblem Spaltenformat vor
Für Entwickler19. November 2026, 08:16

Lance v2 nimmt sich KI-Workloads mit flexiblem Spaltenformat vor

LanceDB hat Lance v2 vorgestellt, ein neues spaltenorientiertes Containerformat, das Einschränkungen beheben soll, die das Unternehmen bei Parquet und Lance v1 für…