Voyage AI: Embeddings senken Vorhersagefehler bei MongoDB-Daten um bis zu 44 Prozent

Lernen aus Dokumenten, die bereits in der Collection liegen

In vielen MongoDB-Collections ist ein Feld in manchen Dokumenten gesetzt und in anderen leer. Voyage AI nennt als Beispiel die Priorität eines Support-Tickets, die möglicherweise nur bei älteren Tickets eingetragen ist. Zudem mischen MongoDB-Dokumente skalare Felder mit Freitext, Listen und verschachtelten Unterdokumenten. Laut Unternehmen benötigen Tabellenmodelle eine flache Tabelle. Üblich sei daher, jedes Dokument zu glätten und alles wegzulassen, was nicht hineinpasst, was die Genauigkeit beeinträchtige.

Allgemeine Modelle wie Jev versehen Dokumente direkt mit Labels, ohne aus den bereits gelabelten Dokumenten der Collection zu lernen. Voyage AI beschreibt einen Weg, eine Variante zu bauen, die genau das tut. Die Schritte:

• Jedes Dokument in einen JSON-String umwandeln und dabei das vorherzusagende Feld weglassen.
• Jeden JSON-String mit einem Voyage-Modell einbetten, etwa mit voyage-4-nano lokal oder voyage-4-large über die Voyage API.
• Ein Vorhersagemodell wie XGBoost auf den Embeddings jener Dokumente trainieren, in denen das Feld gesetzt ist.
• Das Feld für die übrigen Dokumente vorhersagen und in die Collection zurückschreiben.

Da die Embeddings nur einmal berechnet werden müssen, lassen sich laut dem Beitrag verschiedene Vorhersagemodelle schnell testen.

Ergebnisse bei Filmen und 50 Aufgaben

Als durchgespieltes Beispiel nutzte Voyage AI die MongoDB-Collection sample_mflix.movies. Das Modell wurde auf den 17.527 Filmen trainiert, die vor 2010 erschienen sind, und sagte die IMDb-Bewertung der 5.914 Filme ab 2010 voraus. Es verwendete Titel, Jahr, Laufzeit, Altersfreigabe, Genres, Besetzung, Regie und Handlung. Andere Bewertungen in den Dokumenten, etwa von Rotten Tomatoes und Metacritic, blieben unberücksichtigt.

Das Modell kam auf einen mittleren Fehler von 0,68 Bewertungspunkten und lag bei 78 % der Filme innerhalb eines Punkts der tatsächlichen Bewertung. Wer stets die durchschnittliche Bewertung der älteren Filme tippt, erreicht 0,76 und 72 %. Nach der Berechnung der Embeddings dauerte das Training 79 Sekunden, die Vorhersage aller 5.914 Bewertungen 8 Sekunden auf 16 CPU-Threads.

Die breitere Evaluation umfasst 50 Aufgaben: 7 aus den Beispieldaten von MongoDB, alle 21 Aufgaben von TextTabBench und 22 aus dem Web gesammelte. Davon sagen 29 eine Kategorie und 21 eine Zahl voraus. Die Rohfelder allein erreichen im Schnitt 52,1. Mit voyage-json steigt der Durchschnitt auf 73,3, mit voyage-4-nano auf 70,0, was laut Voyage AI 44 % beziehungsweise 37 % weniger Fehlern entspricht. Die sechs offenen Vergleichsmodelle liegen zwischen 62,9 und 70,8, also bei 23 % bis 39 % weniger Fehlern. Laut Unternehmen übertrifft voyage-4-nano alle von ihnen mit Ausnahme von Nemotron-3-Embed-8B, das über 20-mal so viele Parameter hat.

Vergleich mit Jev und verfügbare Werkzeuge

Bei den 29 Klassifikationsaufgaben erreicht voyage-json einen durchschnittlichen AUROC von 88,3, verglichen mit 77,6 für Jev von TypeSafe AI, was laut Voyage AI 48 % weniger Fehlern entspricht. Der Beitrag weist darauf hin, dass dieser Ansatz im Unterschied zu Jev gelabelte Dokumente benötigt. voyage-json ist ein experimentelles Modell, das das Unternehmen aus voyage-4-lite für Vorhersagen auf JSON-Dokumenten nachtrainiert hat.

voyage-4-nano ist ein Open-Weight-Modell, das lokal läuft, wenn vorhanden auf einer GPU. voyage-4-lite, voyage-4 und voyage-4-large sind über die Voyage API verfügbar und brauchen keine GPU. Auf den Embeddings lässt sich jeder scikit-learn-Estimator trainieren. Die Evaluation nutzte XGBoost für die Filmbewertungen und für die 50 Aufgaben eine Ridge-Regression auf den Rohfeldern plus dem Embedding.

Voyage AI verweist zudem auf mongo-predict, eine Community-Bibliothek, die diese Schritte für MongoDB bündelt. Sie ergänzt pymongo-Collections um Hilfsmethoden, die ein Vorhersagemodell trainieren und in der Datenbank speichern. Ein $predict-Schritt am Anfang einer Aggregation Pipeline bettet die passenden Dokumente im Python-Client ein und bewertet sie, während der Rest der Pipeline auf dem Server läuft. Die Bibliothek ist Open Source, auf GitHub verfügbar und nutzt voyage-4-nano als Standard-Embedding-Modell.

Was das für MongoDB-Nutzer bedeutet

Für Teams mit teilweise gelabelten Collections zeigt der Beitrag einen Weg, Lücken zu füllen, ohne Dokumente in Tabellen zu pressen. Die Zahlen stammen aus der eigenen Evaluation von Voyage AI, und der Ansatz setzt bereits gelabelte Dokumente in der Collection voraus. Laut Unternehmen deckt dieselbe Methode Imputation, Klassifikation und Regression ab.