Qdrant testet Cohere Embed 5 für die PDF-Suche mit einem Vektor pro Seite
Laut Qdrant schneidet Coheres neues Modell Embed 5 Pro, das ein ganzes PDF-Seitenbild durch einen einzigen dichten Vektor darstellt, auf fünf öffentlichen englischen ViDoRe-V3-Korpora besser ab als mehrere Late-Interaction-Modelle. Der Anbieter von Vektordatenbanken beschreibt zudem ein Verfahren, das den Speicherbedarf pro Seite mit Matryoshka-Dimensionen und seiner asymmetrischen Quantisierung von 8 KB auf 256 Bytes senkt.
- Qdrant berichtet, dass Cohere Embed 5 Pro mit einem dichten Vektor pro PDF-Seitenbild auf fünf öffentlichen englischen ViDoRe-V3-Korpora besser abschneidet als mehrere Late-Interaction-Modelle.
- Der Test umfasste 12.969 Seitenbilder und 1.489 englische Fragen und wurde mit Standard-nDCG@10 über den gesamten Korpus gemessen.
- Die Kombination aus MRL und 1-Bit-Binärquantisierung senkt einen vollständigen Vektor von 8 KB auf 256 Bytes, also auf ein Zweiunddreißigstel.
- Qdrants asymmetrische Quantisierung hält Anfragen bei 8 Bit, während die Seitenvektoren bei 1 Bit bleiben; anschließend wird mit den vollständigen Vektoren neu sortiert.
- Qdrant warnt, dass die Trainingsdaten von Embed 5 nicht veröffentlicht sind und eine Kontamination des Tests daher nicht auszuschließen ist.
Dichte Vektoren gegen Late Interaction
Cohere hat Embed 5 veröffentlicht, eine Familie von Embedding-Modellen mit zwei Varianten: Embed 5 Pro (embed-v5.0-pro), das auf Qualität ausgelegt ist, und Embed 5 Fast (embed-v5.0-fast), eine schlankere Option. Laut Qdrant verarbeiten beide Text und Bilder, unterstützen mehr als 100 Sprachen und teilen sich einen gemeinsamen Embedding-Raum.
Für die Suche in PDF-Seitenbildern empfiehlt Qdrant üblicherweise visuelle Late-Interaction-Modelle wie ColPali und ColQwen, die ohne Textparsing und Textextraktion auskommen. Sie speichern für jeden kleinen Bildausschnitt (Patch) einen Vektor. Das sorgt für feine Granularität, bedeutet aber rund tausend Vektoren pro Seite. Qdrant weist darauf hin, dass MaxSim, das von diesen Modellen verwendete Ähnlichkeitsmaß, den HNSW-Index nicht direkt nutzen kann. Bei Milliarden von Punkten bleiben daher nur MUVERA-ähnliche Ansätze.
Bekannte Kniffe verringern die Last. Qdrants Tutorial zur PDF-Suche kombiniert Pooling mit Rescoring: Patch-Vektoren werden zeilen- oder spaltenweise gemittelt, wodurch sich die Zahl der Vektoren in der ersten Stufe um das 20- bis 30-Fache verringert. MUVERA wandelt eine Liste von Token-Vektoren in einen einzigen Vektor fester Länge um, der den Multi-Vektor-Score annähert.
Qdrant erklärt, nicht damit gerechnet zu haben, dass dichte Embeddings mithalten können, habe sie aber aus Neugier getestet.
Was der ViDoRe-V3-Test zeigte
Qdrant testete Embed 5 auf den fünf öffentlichen englischen Korpora von ViDoRe V3: Informatik-Lehrbücher, Finanzberichte, EU-Arbeitsmarktberichte, technische Anweisungen der US Air Force und pharmazeutische Dokumente der FDA. Zusammen umfassen sie 12.969 Seitenbilder und 1.489 englische Fragen.
Qdrant verweist auf einen methodischen Unterschied. Nach eigenem Verständnis stützten sich Coheres eigene ViDoRe-V3-Ergebnisse auf geparste Textausgaben, also ein OCR-ähnliches Setting, und die Launch-Ergebnisse verwenden RCP-nDCG. Qdrant dagegen speiste die Seitenbilder direkt ein und nutzte gewohnheitsmäßig das Standard-nDCG über den gesamten Korpus, um mit veröffentlichten ViDoRe-Ergebnissen vergleichen zu können. Beim mittleren nDCG@10 über die fünf Korpora lag Embed 5 Pro vor mehreren Late-Interaction-Modellen.
Qdrant schränkt ein: Die Trainingsdaten sind nicht veröffentlicht, womöglich testet man daher versehentlich auf Trainingsdaten. Wäre das nicht der Fall, bedeutete ein einziger dichter Vektor pro Seite: kein OCR und eine gewöhnliche HNSW-Suche. Die MaxSim-Einschränkung entfiele, und das Seitenbild bliebe weiterhin die Eingabe.
Vektoren verkleinern mit Matryoshka und asymmetrischer Quantisierung
Ein vollständiger Embed-5-Vektor hat standardmäßig 2048 Dimensionen, das sind als float32 8 KB pro Seite. Die Familie unterstützt Matryoshka Representation Learning (MRL), bei dem die ersten N Zahlen eines Vektors den Großteil seiner Bedeutung behalten. Cohere empfiehlt für die Produktion standardmäßig 1024 Matryoshka-Dimensionen als int8. Das entspricht 1 KB pro Vektor bei einer Qualität, die Cohere als nahezu volle Präzision beschreibt. Für den kleinsten Speicherbedarf rät Cohere zu binären Vektoren als schnellem ersten Durchlauf vor einem Re-Ranking mit höherer Präzision.
Qdrant kombiniert MRL mit 1-Bit-Binärquantisierung, die nur speichert, ob jede Dimension über null liegt. Bei einem vollständigen Embed-5-Vektor sinkt der Speicherbedarf von 8 KB auf 256 Bytes, also auf ein Zweiunddreißigstel. Um den Informationsverlust auszugleichen, behält Qdrants asymmetrische Quantisierung die Anfrage bei 8 Bit pro Zahl, während die Seitenvektoren bei 1 Bit bleiben. Wenn beide Seiten nur Vorzeichen behalten, zählt jede Dimension gleich, sodass ein Wert knapp über null dieselbe Stimme hat wie ein großer. Eine 8-Bit-Anfrage lässt stärkere Dimensionen mehr Gewicht tragen.
Der Ablauf nutzt die komprimierten Vektoren, um eine kurze Kandidatenliste zu finden, und sortiert diese dann wie von Cohere empfohlen mit den vollständigen Vektoren neu. Die komprimierten Kopien bleiben im RAM, während die vollständigen Vektoren bis zum erneuten Scoring auf der Platte liegen. Qdrant regt außerdem an, für Anfragen mit Embed 5 Fast zu experimentieren.
Das Verfahren in der Praxis
Qdrant hat Code veröffentlicht, der mit Qdrant 1.19.2 und qdrant-client 1.20.0 getestet wurde und Qdrant Cloud Inference nutzt. Die Collection enthält zwei benannte Vektoren. Der Vektor "full" hat 2048 Dimensionen, wird kalt gespeichert und besitzt keinen HNSW-Graphen (m = 0), da er nur zum erneuten Bewerten der Kandidaten dient. Der Vektor "small" hat 512 Dimensionen mit 1-Bit-Binärquantisierung, 8-Bit-Query-Encoding und fest im Speicher gehaltenen Daten (Pinned Memory).
Beim Hochladen einer Seite wird dasselbe Bild zweimal mit cohere/embed-v5.0-pro eingebettet: einmal vollständig und einmal mit der Option mrl: 512. Bei der Suche fragt ein Prefetch-Schritt den kleinen Vektor mit einem Limit von 20 Kandidaten ab, im Beispiel mit der Frage "What drove the drop in posted workers in Germany in 2022?", gefolgt von einem Rescoring gegen die vollständigen Vektoren.
Was das für die PDF-Suche im großen Maßstab bedeutet
Laut Qdrant eröffnet das Ergebnis einen Weg zur Suche in visuell reichhaltigen Dokumenten mit einem Vektor pro Seite, ohne OCR-Schritt und mit Standard-HNSW-Indexierung. Teams, denen Late-Interaction-Modelle schwer skalierbar erscheinen, könnten diesen Ansatz für einen Test interessant finden. Die Ergebnisse stammen aus Qdrants eigener Evaluierung, und das Unternehmen nennt die unbekannten Trainingsdaten als mögliche Störgröße.
