Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Lance v2 nimmt sich KI-Workloads mit flexiblem Spaltenformat vor

19. November 2026, 08:16Von der KI Nachrichten RedaktionQuelle: LanceDB
Lance v2 nimmt sich KI-Workloads mit flexiblem Spaltenformat vor
Bild: LanceDB

LanceDB hat Lance v2 vorgestellt, ein neues spaltenorientiertes Containerformat, das Einschränkungen beheben soll, die das Unternehmen bei Parquet und Lance v1 für moderne KI- und Machine-Learning-Workloads sieht. Im Mittelpunkt stehen Punktabfragen, große Werte, breite Schemata und erweiterbare Kodierungen.

Das Wichtigste in Kürze
  • Lance v2 wurde für KI- und Machine-Learning-Workloads entwickelt.
  • Das Format zielt auf Punktabfragen, breite Spalten und sehr breite Schemata.
  • Kodierungen werden über Erweiterungen und Protobuf-„any“-Nachrichten verarbeitet.
  • Lance v2 schafft Zeilengruppen ab und ermöglicht die getrennte Speicherung von Seiten.
  • Die Ankündigung nennt weder einen Zeitplan für die Veröffentlichung noch Leistungswerte.

Für KI- und Machine-Learning-Workloads entwickelt

In einem Blogbeitrag vom 13. April 2024 erklärte Lance-Ingenieur Weston Pace, Lance sei entwickelt worden, weil Lesegeräte und Schreibgeräte für bestehende Spaltenformate KI- und Machine-Learning-Workloads nicht effizient verarbeiten konnten. Laut Lance behob Lance v1 einige dieser Probleme, hatte in mehreren Fällen aber weiterhin Schwierigkeiten.

Das Unternehmen hebt Punktabfragen als einen der zentralen Anwendungsfälle hervor. Diese Abfragen greifen auf eine kleine Anzahl von Zeilen zu und sind bei der Verwendung eines Sekundärindex wichtig. Semantische Suche und Volltextsuche in LanceDB umfassen dem Beitrag zufolge letztlich Punktabfragen.

LanceDB zufolge eignet sich Parquet schlecht für dieses Muster, weil seine Kodierungen nicht für den Zugriff auf Teilbereiche ausgelegt sind. Der Zugriff auf eine Zeile kann das Laden einer gesamten Seite erfordern. Dieses Problem ist laut dem Unternehmen besonders bei multimodalen Workloads mit großen Werten relevant.

Der Beitrag beschreibt außerdem Herausforderungen bei breiten Spalten, etwa Einbettungen für die semantische Suche und Bildern, sowie bei sehr breiten Schemata. Finanz-Workloads können eine Spalte pro Ticker enthalten, während Feature Stores Tausende Merkmale für einen Datensatz speichern können. Selbst wenn die Spaltenauswahl gezielt erfolgt, müssen Lesegeräte weiterhin die Schemametadaten aller Spalten in einer Datei laden. Das verursacht Kosten bei Workloads mit niedrigen Latenzanforderungen.

Kodierungen werden zu Erweiterungen

Lance v2 behandelt Kodierungen als Erweiterungen, statt sie fest in das Format einzubauen. Die Lesegeräte und Schreibgeräte kennen die verwendete Kodierung nicht. Stattdessen wählt der Datenproduzent eine von einem Plugin bereitgestellte Kodierung aus, während die Beschreibungen der Kodierungen als Protobuf-„any“-Nachrichten gespeichert werden.

Dieser Ansatz ermöglicht die Entwicklung neuer Kodierungen, ohne das Dateiformat, das Schreibgerät oder das Lesegerät zu ändern. LanceDB zufolge muss ein Entwickler einer Kodierung eine .proto-Datei veröffentlichen, die die Kodierung beschreibt, und mindestens eine Implementierung für Encoder und Decoder bereitstellen.

Das Format selbst verfügt außerdem über kein Typsystem. Aus Sicht von Lance ist eine Spalte eine Sammlung von Seiten mit einer Kodierung, und jede Seite ist eine Sammlung von Puffern. Die im Beitrag beschriebenen Lesegeräte und Schreibgeräte verwenden das Typsystem von Arrow, um diese Seiten in typisierte Arrays umzuwandeln.

Stößt ein Lesegerät auf eine nicht unterstützte Kodierung, erhält der Nutzer eine Fehlermeldung mit dem Hinweis: „this file uses encoding X and the reader has not been configured with a decoder.“ Anschließend kann der Nutzer einen Decoder installieren oder implementieren, ohne eine Änderung am Lance-Format zu benötigen.

Lance v2 schafft Zeilengruppen ab

Eine weitere wichtige Designentscheidung ist die Abschaffung von Zeilengruppen, die Lance als Lösung bezeichnet, die „ihren Nutzen überlebt hat“. Das Unternehmen erklärt, kleine Zeilengruppen könnten zu übermäßigen Metadaten, schlechter Leistung und zu kleinen Seiten führen, während große Zeilengruppen beim Schreiben und Lesen erhebliche Mengen RAM benötigen könnten.

LanceDB argumentiert außerdem, dass Zeilengruppen schlecht für die parallele Verarbeitung mit mehreren Threads innerhalb eines Prozesses geeignet sind. Das gleichzeitige Lesen mehrerer Zeilengruppen kann viele parallele E/A-Vorgänge starten, während die Berechnung möglicherweise auf deren Abschluss warten muss. Der Beitrag setzt daher auf Pipeline-Parallelität statt auf Datenparallelität.

Lance v2 ermöglicht es, Seiten innerhalb einer Spalte getrennt zu speichern, statt sie nebeneinander abzulegen. Jeder Spaltenschreiber verwaltet seinen eigenen Puffer und schreibt eine Seite, sobald sich genügend Daten angesammelt haben. Laut Lance ermöglicht dies maximal große Datenseiten bei minimaler RAM-Pufferung im Schreib- und Lesegerät.

Für Nutzer, die KI-Systeme entwickeln, soll das vorgeschlagene Format den indexierten Zugriff auf große Werte und breite Datensätze praktikabler machen. Gleichzeitig erhalten Entwickler von Kodierungen eine Möglichkeit, Funktionen hinzuzufügen, ohne das zugrunde liegende Containerformat zu verändern. Die Ankündigung beschreibt das Design und seine Ziele, nennt jedoch weder einen Zeitplan für die Veröffentlichung noch Leistungswerte.

Ähnliche Meldungen

Lance führt Community-Governance für sein offenes Format ein
Für Entwickler19. November 2026, 08:16

Lance führt Community-Governance für sein offenes Format ein

Lance hat eine formelle Governance-Struktur für seine Community rund um das offene Format eingeführt. Sie definiert Wege zur Mitarbeit, Führungsrollen und…

LanceDB kombiniert Lance Namespace und Ray für skalierbare KI-Pipelines
Für Entwickler19. November 2026, 08:16

LanceDB kombiniert Lance Namespace und Ray für skalierbare KI-Pipelines

LanceDB hat einen durchgängigen Ansatz für produktive KI-Workloads vorgestellt, der Lance Namespace, Ray und LanceDB kombiniert. Nach Angaben des Unternehmens verbindet…

Lance File 2.1 zielt auf kleinere Dateien und schnelleren wahlfreien Zugriff
Für Entwickler19. November 2026, 08:16

Lance File 2.1 zielt auf kleinere Dateien und schnelleren wahlfreien Zugriff

Lance File 2.1 ist als Beta gestartet. Das überarbeitete Kodierungssystem soll die Dateigröße reduzieren und den Zugriff auf einzelne Werte verbessern. Laut Lance baut…