Lance File 2.1 zielt auf kleinere Dateien und schnelleren wahlfreien Zugriff

Lance File 2.1 ist als Beta gestartet. Das überarbeitete Kodierungssystem soll die Dateigröße reduzieren und den Zugriff auf einzelne Werte verbessern. Laut Lance baut das Update auf dem Format 2.0 auf und berücksichtigt Erfahrungen aus der Community sowie aus Produktiveinsätzen.
- Lance File 2.1 ist als Beta gestartet.
- Das Format trennt strukturelle Kodierung von Kompressionskodierung.
- Laut Lance kann 2.1 auf jeden Wert mit einer oder zwei IOPs zugreifen.
- Das Design behält die 2.0-Struktur aus Seiten, Spaltenbeschreibungen und einem Dateifuß bei.
- Laut Lance waren Scans mit 2.0 teilweise schneller als mit Parquet, obwohl die Dateien 2-3 Mal größer waren.
Ein kleineres, flexibleres Format
In einem Blogbeitrag beschrieb Lance-Ingenieur Weston Pace Version 2.1 als Ergebnis mehrmonatiger Arbeit mit der Community und Anwendern im Produktivbetrieb. Das Format 2.0 wurde nach einer Beta-Phase im vergangenen Herbst zum Standarddateiformat von Lance.
Laut Pace entfernte das Design von 2.0 erfolgreich die Zeilengruppen, ohne Parallelität oder Leistung zu beeinträchtigen. Lance entwickelte außerdem eine Planung, die die I/O-Warteschlange auslasten und zugleich ein festgelegtes Maß an Parallelität einhalten soll. Nach Angaben von Lance konnte das Format dadurch in einigen Fällen die Scan-Leistung von Parquet erreichen oder übertreffen, obwohl die Lance-Datei 2-3 Mal größer war.
Die grundlegende Dateistruktur bleibt weitgehend unverändert. Laut Lance bilden Seiten, Spaltenbeschreibungen und ein Dateifuß eine einfache und flexible Grundlage. Die wesentlichen Änderungen in 2.1 betreffen die Kodierungen, deren Design das Team umfassend überarbeitet hat.
Struktur und Kompression werden getrennt
Lance File 2.1 unterteilt die Kodierung in zwei Konzepte: strukturelle Kodierung und Kompressionskodierung. Die strukturelle Kodierung legt fest, wie ein Array in Puffer aufgeteilt wird, während die Kompressionskodierung bestimmt, wie diese Puffer komprimiert werden.
Diese Unterscheidung ist für ein Format wichtig, das multimodale Daten wie Embeddings, Tensoren, Audio, Video und Bilder verarbeiten soll. Laut Lance sind diese Datentypen häufig bereits komprimiert, weshalb die Kompression in Version 2.0 eine geringere Priorität hatte. Für Metadaten, Vorfilterung und textlastige Datensätze wie Common Crawl, Fineweb und Github Code bleibt sie jedoch relevant.
Das neue Design berücksichtigt außerdem den Zielkonflikt zwischen Kompression und wahlfreiem Zugriff. Laut Lance können transparente Verfahren wie Bit-Packing den wahlfreien Zugriff unterstützen, während opake Verfahren wie Delta-Kodierung dies möglicherweise nicht tun. Die für einen Wert gewählte strukturelle Kodierung beeinflusst, welche Kompressionskodierungen verwendet werden können.
Ziel: ein bis zwei IOPs pro Wert
Eines der zentralen Ziele von Lance für Version 2.1 ist die von Pace so genannte „1-2-IOP-Herausforderung“. Für Datentypen mit fester Breite soll der Zugriff in einer einzigen I/O-Operation beziehungsweise IOP erfolgen. Datentypen variabler Breite sollen zwei benötigen.
In Lance 2.0 konnte ein einzelner Wert in einem komplexen Typ wie einer Liste von Zeichenketten sechs IOPs erfordern. Zu den benötigten Informationen konnten Gültigkeitspuffer, Listen- und Zeichenketten-Offsets sowie Zeichenkettenwerte gehören. Laut Lance kombiniert Version 2.1 strukturelle Kodierungen mit einem Wiederholungsindex, um diesen Aufwand zu reduzieren.
Nach Angaben des Unternehmens ermöglicht das Ergebnis den Zugriff auf jeden Wert mit einer oder zwei IOPs, unabhängig von der Komplexität des Datentyps oder der Anzahl der Gültigkeitsebenen. Das Format 2.1 befindet sich in der Beta-Phase. Die Ankündigung beschreibt daher eher das Design und die Richtung als einen endgültigen Veröffentlichungsplan.
LanceDB: Lance File 2.1: Smaller and Simpler


