Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

LanceDB startet Realtime Engine für Live-Suche im Millisekundenbereich

17. November 2026, 23:48Von der KI Nachrichten RedaktionQuelle: LanceDB
LanceDB startet Realtime Engine für Live-Suche im Millisekundenbereich
Bild: LanceDB

LanceDB hat die Realtime Engine vorgestellt. Die Funktion von LanceDB Enterprise ermöglicht es Anwendungen, neu geschriebene Zeilen innerhalb von Millisekunden zu durchsuchen. Das System kombiniert Streaming-Schreibvorgänge, Live-Skalar-, Volltext- und Vektorindizes sowie dauerhafte Speicherung im Objektspeicher.

Das Wichtigste in Kürze
  • Die Realtime Engine wird für LanceDB Enterprise eingeführt.
  • Neue Zeilen können innerhalb von Millisekunden nach dauerhaften Schreibvorgängen durchsucht werden.
  • Das System unterstützt Live-Skalar-, Volltext- und Vektorindizes.
  • Ein Benchmark ergab eine mediane Sichtbarkeit von 52 ms zwischen dem dauerhaften S3-Schreibvorgang und einer lesbaren Zeile.
  • MemWAL ergänzt das offene Lance-Tabellenformat um eine LSM-Tree-Struktur.

Streaming-Alternative zu Batch-Commits

KI-Anwendungen müssen Daten häufig bereits während ihres Eintreffens nutzen. Robotik- und Physical-AI-Labore erzeugen kontinuierlich Bilder und Sensordaten, während Annotations- und Feature-Pipelines Labels und Embeddings hinzufügen. Reinforcement-Learning-Systeme erzeugen Modellantworten, Tool-Aufrufe und Artefakte und ergänzen anschließend Belohnungen und Trainingsbeispiele.

LanceDB zufolge müssen Lesevorgänge bei diesen Workloads mit den Schreibvorgängen Schritt halten. Ein korrigiertes Label sollte sich auf den nächsten Filter auswirken, und ein neu berechnetes Embedding sollte in der nächsten Vektorsuche erscheinen, ohne auf einen Batch-Commit oder eine Index-Aktualisierung zu warten.

Traditionelle Lakehouse-Architekturen sammeln Daten in großen Batch-Commits, schreiben spaltenbasierte Dateien in den Objektspeicher und veröffentlichen anschließend eine neue Tabellenversion. Häufige Commits können kleine Dateien und Metadaten-Aktualisierungen erzeugen, während Leser bei größeren Batches warten müssen. Die Realtime Engine soll diesen Zielkonflikt beseitigen, indem Schreib- und Lesevorgänge ohne Warten auf einen tabellenweiten Batch-Commit möglich sind.

Dauerhafte Schreibvorgänge und Live-Indizes

Die Funktion basiert auf MemWAL, einem Format, das LanceDB als Teil des Lance-Tabellenformats entwickelt hat. MemWAL stellt Lance einen Log-Structured-Merge-Tree im Objektspeicher bereit und kombiniert dabei ein Write-Ahead-Log, indexierte Puffer im Arbeitsspeicher und indexierte Datendateien.

Neue Zeilen werden im Objektspeicher protokolliert und einer indexierten MemTable hinzugefügt. Sobald MemTables gefüllt sind, werden sie als indexierte Lance-Dateien mit der Bezeichnung SSTables geschrieben und im Hintergrund mit der Basistabelle zusammengeführt. Abfragen durchsuchen MemTables zusammen mit SSTables und der Basistabelle und unterstützen Vektorsuche, Volltextsuche, Punktabfragen und Skalarfilter.

LanceDB zufolge gibt ein Schreibvorgang erst dann ein Ergebnis zurück, wenn die Daten dauerhaft im Objektspeicher gespeichert sind. LanceDB Enterprise verwaltet die Platzierung von Shards, die Wiederherstellung von Schreibern, Speicherlimits und Backpressure. Separate Worker übernehmen Kompaktierung, Index-Aktualisierungen und Garbage Collection. Abfragen verwenden weiterhin SSTable-Indizes, während die Indizes der Basistabelle aktualisiert werden.

Benchmark-Ergebnisse mit drei Datensätzen

In einem Benchmark auf Amazon EKS meldet LanceDB eine mediane Zeit von 52 ms zwischen einem dauerhaften Schreibvorgang in S3 und einer lesbaren Zeile. Für die Tests wurden FineWeb-Edu, MS MARCO und LAION verwendet. Jeder Lauf auf einem einzelnen Knoten nutzte einen m8gd.8xlarge-Knoten mit 30 vCPU und 112 GiB.

Mit Live-Indexierung des Primärschlüssels stieg der Durchsatz dauerhafter Schreibvorgänge auf einem einzelnen Knoten von 79-83 MB/s bei einem Shard auf 312-334 MB/s bei vier Shards. Über vier Knoten hinweg, von denen jeder eine eigene Tabelle mit vier Shards bediente, wurde ein kombinierter Durchsatz von 946 MB/s erreicht. Während der Aufnahme lag die mediane Abfragelatenz bei 12-14 ms für Schlüsselsuchen, 15-28 ms für die Volltextsuche und 26-30 ms für die Vektorsuche.

LanceDB berichtet außerdem, dass bei LAION mit ausschließlich aktivem Primärschlüsselindex der maximale Speicherverbrauch des Knotens von 74 GiB auf 18 GiB sank, während der Durchsatz innerhalb von 3% blieb. Tabellen können festlegen, welche Indizes aktiv bleiben. So lässt sich der Schreibdurchsatz gegen die Suchgeschwindigkeit für die neuesten Zeilen abwägen.

Bedeutung der Ankündigung für KI-Datenpipelines

Die Realtime Engine richtet sich an Teams, die eine einzige Tabelle für eingehende Daten, dauerhafte Speicherung und Suchen über aktuelle sowie historische Datensätze benötigen. Robotikteams können neue Bilder und Annotationen bereits bei ihrem Eintreffen finden, während Reinforcement-Learning-Pipelines frische Trainingssignale lesen und festhalten können, welche Rollouts zu einem Checkpoint beigetragen haben.

LanceDB positioniert diesen Ansatz als Alternative zu separaten Puffern und Ebenen zur Suchsynchronisierung. Da Log, Metadaten, Dateien und Indizes Teil des offenen Lance-Tabellenformats sind, vermeidet der Ansatz laut Unternehmen, neu bestätigte Daten bis zu einem späteren Flush außerhalb der Tabelle aufzubewahren. LanceDB Enterprise stellt die verwaltete Ausführungs- und Wartungsebene für dieses Streaming-Format bereit.

LanceDBLanceDB Realtime EngineMemWALLanceDB EnterpriseEnterprise-KIRobotikPhysische KI

Ähnliche Meldungen

WYBOT stellt Poolroboter für den autonomen Einsatz vor
Produkte und Tools19. November 2026, 07:43

WYBOT stellt Poolroboter für den autonomen Einsatz vor

WYBOT hat auf der Piscine Global Lyon 2026 nach eigenen Angaben den weltweit ersten autonom einsetzbaren Poolroboter vorgestellt. Die Ankündigung wurde am 2026-11-19…

Markt für kommerzielle Drohnen soll bis 2031 auf 18,01 Milliarden US-Dollar wachsen
Forschung18. November 2026, 12:59

Markt für kommerzielle Drohnen soll bis 2031 auf 18,01 Milliarden US-Dollar wachsen

Der Markt für kommerzielle Drohnen soll laut MarketsandMarkets von 3,84 Milliarden US-Dollar im Jahr 2026 auf 18,01 Milliarden US-Dollar im Jahr 2031 wachsen. Das…

LanceDB hebt Robotiktraining, DataFusion-Joins und LLM-Pipelines hervor
Für Entwickler12. November 2026, 04:21

LanceDB hebt Robotiktraining, DataFusion-Joins und LLM-Pipelines hervor

LanceDB zufolge kann LeRobot v0.7.0 auf in Lance-Tabellen gespeicherten Roboterdatensätzen trainieren, ohne diese herunterzuladen. Außerdem unterstützt die aktuelle…