Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

LanceDB-Analyse zeigt: Sprache kann die Aufteilung von RAG-Texten verändern

19. November 2026, 08:17Von der KI Nachrichten RedaktionQuelle: LanceDB
LanceDB-Analyse zeigt: Sprache kann die Aufteilung von RAG-Texten verändern
Bild: LanceDB

LanceDB hat eine Analyse dazu veröffentlicht, wie sich die Sprache auf die Aufteilung von Texten in Retrieval-Augmented-Generation-Systemen auswirkt. Tests mit Englisch, Hindi, Französisch und Spanisch ergaben, dass dieselben Informationen je nach Sprache in unterschiedlich viele Textabschnitte aufgeteilt werden können.

Das Wichtigste in Kürze
  • LanceDB verglich das Chunking für Englisch, Hindi, Französisch und Spanisch.
  • Eine Abschnittsgröße von 100 ergab 227 englische, 236 Hindi-, 253 französische und 238 spanische Abschnitte.
  • Für alle getesteten Abschnittsgrößen wurde eine Überlappung von 50 Zeichen verwendet.
  • Die Unterschiede bei der Anzahl der Abschnitte wurden geringer, als die Größe von 100 auf 400 stieg.
  • LanceDB empfiehlt, vor der Wahl einer Abschnittsgröße den Abruf zu testen.

Die Analyse vergleicht vier Sprachen

Der von Shresth Shukla verfasste und am 27. Januar 2025 veröffentlichte Beitrag untersucht, ob Teams beim Aufbau mehrsprachiger RAG-Anwendungen für jede Sprache denselben Ansatz zur Textaufteilung verwenden sollten. Verglichen werden die Aufteilung nach einer festen Zeichenzahl, semantische Methoden und clustergestützte Ansätze anhand von Texten auf Englisch, Hindi, Französisch und Spanisch.

Beim Chunking werden längere Dokumente in kleinere Abschnitte zerlegt, bevor sie zur Suche als dichte Vektorrepräsentationen gespeichert werden. Für die Analyse verwendete LanceDB die mehrsprachigen Embeddings von sentence-transformers. Das Modell bildet Sätze und Absätze in einem 384-dimensionalen dichten Vektorraum ab und unterstützt Aufgaben wie Clustering und semantische Suche.

Der Beitrag führt außerdem weitere Ansätze auf, darunter CharacterTextSplitter(), TokenTextSplitter(), RecursiveCharacterTextSplitter(), semantisches Chunking, clustergestützte Ansätze und LLM-basiertes Chunking.

Kleinere Abschnitte führten zu größeren Sprachunterschieden

Das zentrale Experiment mit fester Aufteilung nutzte RecursiveCharacterTextSplitter(). Die Texte wurden mit unterschiedlichen Abschnittsgrößen verarbeitet und in LanceDB als Vektoren gespeichert, mit separaten Tabellen für jede Sprache und Abschnittsgröße. Für alle Abschnittsgrößen wurde eine Überlappung von 50 Zeichen verwendet.

Für Englisch teilte eine Abschnittsgröße von 100 den Text in 227 Abschnitte auf. Über alle vier Sprachen hinweg lagen die entsprechenden Werte bei 227 für Englisch, 236 für Hindi, 253 für Französisch und 238 für Spanisch. Laut LanceDB zeigt dies, dass dieselben Informationen je nach Sprache in mehr oder weniger Abschnitten gespeichert werden können.

Als die Abschnittsgröße von 100 auf 400 stieg, wurde der Unterschied bei der Anzahl der Abschnitte mit dem Recursive Character Text Splitter weniger deutlich. Die Analyse besagt, dass Englisch und Hindi nach einer Größe von 100 in fast gleich viele Abschnitte aufgeteilt wurden, während sich Französisch und Spanisch nach 100 einigermaßen ähnlich verhielten. LanceDB bezeichnet dies als erste Beobachtung und nicht als Verallgemeinerung.

Warum Tests des Abrufs wichtig sind

Die Analyse legt die Abschnittsgröße nicht allein anhand der Anzahl der Abschnitte fest. Demnach muss zusätzlich der Abruf getestet werden, um zu sehen, wie sich die Leistung mit der Abschnittsgröße verändert. Im Experiment wurden Embeddings in LanceDB gespeichert und die Tabellen mit einer Kosinussuche abgefragt, wobei der Beispielcode die drei besten Ergebnisse zurückgibt.

Dieser Schwerpunkt ist für Teams wichtig, die mehrsprachige RAG-Systeme entwickeln, da eine für eine Sprache geeignet erscheinende Chunking-Einstellung den Text einer anderen Sprache anders aufteilen kann. Laut LanceDB zeigt die Analyse, dass Chunking den Abruf erheblich beeinflusst, insbesondere in einem mehrsprachigen Kontext.

Das Unternehmen stellt außerdem einen Link zu einem Colab-Notebook bereit, damit Leser die Experimente ausführen und an ihre eigenen Daten anpassen können. Der Beitrag präsentiert das Notebook und weitere Tests als Möglichkeiten, Abschnittsgrößen und Chunking-Ansätze zu bewerten, statt eine universelle Einstellung für jede Sprache vorzuschlagen.

Ähnliche Meldungen

Snorkel AI: Gesteuertes Training verbessert Qwen3.8-27B bei professionellen Aufgaben
Forschung19. November 2026, 15:32

Snorkel AI: Gesteuertes Training verbessert Qwen3.8-27B bei professionellen Aufgaben

Snorkel AI zufolge steigerte das Unternehmen die pass@1-Leistung von Qwen3.8-27B auf OpenAIs GDPval-Goldset von 31,9 auf 40,7 Prozent. Möglich wurde dies durch die…

Databricks startet AI Index zur Erfassung von Modellkosten und -nutzung in Unternehmen
Forschung16. November 2026, 18:00

Databricks startet AI Index zur Erfassung von Modellkosten und -nutzung in Unternehmen

Databricks hat den Databricks AI Index gestartet, eine öffentliche Ressource zur Erfassung der Nutzung von KI-Modellen, der Leistung von Coding-Agenten und der Ausgaben…

Forschung
Forschung15. November 2026, 23:00

OpenAI beschreibt Gitterkonstruktion für das vollständige Standardmodell

OpenAI hat eine mögliche nichtperturbative Definition des Standardmodells auf einem Raumzeitgitter vorgeschlagen. GPT-6 Astra half dabei, die Konstruktion und den…