Lance und DuckDB bringen Vektor- und hybride Suche in SQL

Lance hat eine DuckDB-Erweiterung vorgestellt, die Vektor-, Volltext- und hybride Suche direkt in SQL-Abfragen ermöglicht. Die Integration soll multimodale Datensätze, Suchergebnisse und Analyse-Workflows in derselben Lakehouse-Umgebung halten.
- Die Lance-×-DuckDB-Erweiterung ermöglicht SQL-Zugriff auf Lance-Datensätze.
- SQL-Tabellenfunktionen unterstützen Vektor-, Volltext- und hybride Suche.
- Nutzer können Retrieval-Ergebnisse mit DuckDB-Tabellen und Metadaten verknüpfen.
- Suchergebnisse können als neue Lance-Datensätze zurückgeschrieben werden.
- Lance-Daten in der Cloud lassen sich über konfigurierte DuckDB-Secrets abfragen.
Retrieval ohne separate Analysepipeline
LanceDB zufolge liegt die größte Herausforderung beim Aufbau skalierbarer Retrieval-Systeme in der Fragmentierung des durchgängigen Daten-Workflows. Embeddings können getrennt von Texten, Metadaten und Evaluierungs-Slices gespeichert sein, während für die Analyse möglicherweise Daten in ein anderes Format kopiert werden müssen.
Lance ist als offenes Lakehouse-Format für multimodale KI konzipiert. Es umfasst die Ebenen Dateiformat, Tabellenformat und Katalogspezifikation und soll eine dauerhafte Datenebene für KI und maschinelles Lernen auf Objektspeichern bereitstellen.
DuckDB stellt in diesem Aufbau die Rechenebene bereit. Die neue Erweiterung ermöglicht es Entwicklern, Lance-Datensätze direkt aus SQL abzufragen, zu scannen und zu schreiben, während Retrieval und Analyse in DuckDB verbleiben.
Vektor-, Volltext- und hybride Suche als SQL-Funktionen
Nach der Installation und dem Laden der Erweiterung kann DuckDB einen Lance-Datensatz über einen Verweis auf einen .lance-Pfad scannen. Die Integration ergänzt drei SQL-Tabellenfunktionen: lance_vector_search, lance_fts und lance_hybrid_search.
Diese Funktionen unterstützen Vektorsuche, Volltextsuche und hybride Suche. Laut LanceDB werden die Vorgänge in die Lance-Tabellenebene verlagert, wodurch SQL-Zugriff mit den Retrieval-Funktionen von Lance kombiniert wird.
Das Beispiel für die hybride Suche kombiniert eine Volltextabfrage mit einer Vektorabfrage über eine lineare Kombination der Bewertungen. Die Ergebnisse enthalten einen _hybrid_score sowie Felder für Distanz und Volltextsuchbewertung, die zur Sortierung verwendet werden können.
Die Erweiterung unterstützt außerdem Joins zwischen Retrieval-Ergebnissen und regulären DuckDB-Tabellen. Im Beispiel werden Suchergebnisse mit Metadaten zu Datensplits und Qualitätsbewertungen verknüpft und anschließend auf einen Evaluierungs-Slice gefiltert.
Von Cloud-Datensätzen zu materialisierten Evaluierungs-Slices
Die Erweiterung unterstützt sowohl das Lesen als auch das Schreiben. Teams können die besten Ergebnisse einer Retrieval-Abfrage materialisieren und in einen neuen Lance-Datensatz schreiben. LanceDB präsentiert dies als Möglichkeit, Datenslices, schwierige Negativbeispiele und neu gerankte Merkmale neben den Quelldaten zu organisieren.
Namespaces bieten eine weitere Organisationsmöglichkeit. Wenn ein Lance-Namespace angebunden ist, werden mit CREATE TABLE erstellte Tabellen von diesem Namespace verwaltet, ähnlich wie Kataloge in anderen Systemen.
Der Cloud-Zugriff nutzt DuckDB-Secrets. Nach der Konfiguration eines eingeschränkten Secrets für einen Objektspeicher-Speicherort wie eine S3-URI können Nutzer einen Lance-Datensatz über seinen Pfad abfragen. LanceDB beschreibt den Workflow als einmalige Konfiguration des Zugriffs, woraufhin der Datensatzpfad als abfragbare Eingabe behandelt wird.
Für Nutzer der früheren Python- und Apache-Arrow-Integration bleibt dieser Workflow laut LanceDB für Python-zentrierte Exploration und Notebooks geeignet. Das Unternehmen erklärt, die neue Erweiterung umgehe die Arrow-Schnittstellengrenze und lasse dadurch mehr Spielraum für Verbesserungen bei Pushdown, Parallelisierung und Diagnose.


