Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

LanceDB kombiniert Lance Namespace und Ray für skalierbare KI-Pipelines

19. November 2026, 08:16Von der KI Nachrichten RedaktionQuelle: LanceDB
LanceDB kombiniert Lance Namespace und Ray für skalierbare KI-Pipelines
Bild: LanceDB

LanceDB hat einen durchgängigen Ansatz für produktive KI-Workloads vorgestellt, der Lance Namespace, Ray und LanceDB kombiniert. Nach Angaben des Unternehmens verbindet die Integration bestehende Metadatendienste mit verteilter Datenverarbeitung, Vektorsuche und Volltextsuche.

Das Wichtigste in Kürze
  • lance-ray ist jetzt ein unabhängiges Unterprojekt für verteilte Lance-Operationen.
  • Lance Namespace bietet native Python- und Rust-SDKs.
  • Das Beispiel verarbeitet den BeIR/quora-Datensatz mit Ray und LanceDB.
  • LanceDB unterstützt im Workflow Vektor-, Volltext- und hybride Suche.

Drei Komponenten für produktive KI-Workloads

Der Ansatz nutzt Lance Namespace, um Lance-Tabellen in Unternehmens-Metadatendienste zu integrieren, Ray für die verteilte Datenaufnahme und das Feature Engineering sowie LanceDB für Vektor- und Volltextsuche. Laut LanceDB soll die Kombination den Aufbau von KI-Anwendungen erleichtern, die mit bestehender Infrastruktur arbeiten und zugleich die für reale Einsätze erforderliche Skalierung unterstützen.

Das Paket lance-ray ist zu einem unabhängigen Unterprojekt geworden. Es unterstützt verteilte Lese-, Schreib- und Datenentwicklungsoperationen auf Lance-Datensätzen mithilfe der parallelen Verarbeitungsfunktionen von Ray. Dies ist für groß angelegte Datentransformationen und Feature Engineering über einen Rechencluster hinweg vorgesehen.

Lance Namespace umfasst nun auch native Python- und Rust-SDKs. LanceDB zufolge ermöglichen diese SDKs die Integration über mehrere Programmiersprachen hinweg und unterstützen Verbindungen sowohl mit lance-ray als auch mit LanceDB.

Ein durchgängiges Beispiel für Frage-Antwort-Systeme

LanceDB demonstriert den Ablauf mit dem BeIR/quora-Datensatz von Hugging Face. Das Beispiel lädt das Korpus, wandelt es in ein Ray Dataset um und schreibt es über Lance Namespace im Lance-Format. Das Beispiel verwendet den verzeichnisbasierten Namespace und zeigt zugleich Konfigurationen für Hive Metastore, AWS Glue Catalog und Unity Catalog.

Anschließend nutzt das Beispiel das Sentence-Transformers-Modell BAAI/bge-small-en-v1.5, um Embeddings zu erzeugen. Ray fügt die resultierende Vektorspalte durch verteilte Verarbeitung hinzu und verwendet dabei Batches von 100 sowie eine Parallelitätseinstellung von 4. Außerdem können dem Beispiel GPU-Ressourcen für Ray-Worker übergeben werden, wenn GPUs verfügbar sind.

Nach dem Feature Engineering wird derselbe Datensatz über LanceDB geöffnet. Das Beispiel erstellt einen Kosinus-Vektorindex mit dem Indextyp IVF_PQ und führt eine semantische Suche nach der Frage „How do I learn machine learning?“ durch. Zusätzlich wird ein Volltextindex erstellt und nach „machine learning algorithms“ gesucht.

Anwendungsfälle und nächste Schritte

LanceDB nennt mehrere mögliche Anwendungen für dieses Integrationsmuster, darunter Anwendungen für Retrieval-Augmented Generation, Empfehlungssysteme, multimodale Suche, Feature Stores und Echtzeitanalysen. Das Unternehmen erklärt außerdem, dass LanceDB hybride Suche unterstützt, die die semantischen Fähigkeiten der Vektorsuche mit dem Abgleich von Schlüsselwörtern kombiniert.

Für weiterführendes Feature Engineering verweist LanceDB auf Geneva, sein Framework für Feature Engineering. Das Unternehmen beschreibt Geneva als Lösung mit Schema-Durchsetzung, Versionierung und komplexen Transformationen sowie Funktionen wie verzögerter Materialisierung, partiellem Backfill und fehlertoleranter Ausführung.

Die Anweisungen für den Einstieg sehen die Installation von lance-ray und lancedb vor. Anschließend sollen die Dokumentationen zu Lance-Ray, LanceDB und Vektorsuche konsultiert werden. Für Anwender bietet die Ankündigung einen Weg von der verteilten Datenaufnahme und Embedding-Erzeugung bis zu durchsuchbaren KI-Daten. Unternehmen können über Lance Namespace zwischen mehreren Metadatendiensten wählen.

Ähnliche Meldungen

Lance führt Community-Governance für sein offenes Format ein
Für Entwickler19. November 2026, 08:16

Lance führt Community-Governance für sein offenes Format ein

Lance hat eine formelle Governance-Struktur für seine Community rund um das offene Format eingeführt. Sie definiert Wege zur Mitarbeit, Führungsrollen und…

Lance und DuckDB bringen Vektor- und hybride Suche in SQL
Für Entwickler19. November 2026, 08:16

Lance und DuckDB bringen Vektor- und hybride Suche in SQL

Lance hat eine DuckDB-Erweiterung vorgestellt, die Vektor-, Volltext- und hybride Suche direkt in SQL-Abfragen ermöglicht. Die Integration soll multimodale Datensätze…

Lance File 2.1 zielt auf kleinere Dateien und schnelleren wahlfreien Zugriff
Für Entwickler19. November 2026, 08:16

Lance File 2.1 zielt auf kleinere Dateien und schnelleren wahlfreien Zugriff

Lance File 2.1 ist als Beta gestartet. Das überarbeitete Kodierungssystem soll die Dateigröße reduzieren und den Zugriff auf einzelne Werte verbessern. Laut Lance baut…