Vespa führt Fast-Search-Map-Felder ein und verspricht bis zu 100-fach schnellere Map-Abfragen

Vespa hat Fast-Search-Map-Felder eingeführt, eine Funktion, die Abfragen auf Map-Feldern in großen Produktkatalogen beschleunigen soll. Laut dem Unternehmen hat eine einfache Idee auf Basis der Container-Architektur die Leistung der Map-Suche um den Faktor hundert und mehr verbessert.
- Vespa hat Fast-Search-Map-Felder eingeführt, um Abfragen auf map<k,v>-Feldern zu beschleunigen.
- Laut Vespa hat eine einfache Idee auf Basis der Container-Architektur die Leistung der Map-Suche um den Faktor hundert und mehr verbessert.
- Maps werden als zwei Arrays gespeichert und mit sameElement() abgefragt, dessen Aufwand von der Zahl der Dokumente abhängt, die zum ersten Teilausdruck passen.
- Vespa zufolge beseitigt einfaches Fast-Search auf dem Schlüssel oder Wert einer Map diesen Engpass nicht.
- Die Funktion zielt auf große Handelskataloge, in denen die Attribute je nach Produktkategorie variieren.
Maps für Kataloge mit uneinheitlichen Attributen
Vespa beschreibt das Problem aus der Sicht von Händlern und Marktplätzen. Kunden filtern Produkte nach Attributen, die sich zwischen den Kategorien stark unterscheiden, von Rahmengrößen bei Fahrrädern bis zu Akkukapazitäten bei Smartphones. Vespa setzt normalerweise auf Schemas, die alle Dokumente, Felder und Datentypen festlegen, doch reale Kataloge passen selten sauber in ein solches Korsett.
Das Unternehmen verweist auf den Datentyp map<k,v> als Möglichkeit, ein Stück Schemalosigkeit zu ergänzen. Ein Fahrrad kann eine Rahmengröße und eine Radgröße haben, ein Elektrofahrzeug eine Akkukapazität, eine Reichweite und eine Höchstgeschwindigkeit. Ein E-Bike hat all das, ein Smartphone hat zwar eine Akkukapazität, aber weder Reichweite noch Höchstgeschwindigkeit. Vespa sagt, eine vollständige Taxonomie von allem, was sich verkaufen lässt, aufzubauen, sei wie der Kampf gegen Windmühlen („tilting at windmills“), und Maps böten einen bequemen Ausweg.
Warum Map-Abfragen langsam werden können
Vespa zufolge bergen Maps Performance-Fallen. In den Worten des Unternehmens ist eine Map „just two array fields wearing a trench coat“, also im Grunde zwei Array-Felder im Trenchcoat. Das Backend kennt die interne Struktur der Map nicht. Eine Map ist syntaktischer Zucker für ein Array von Structs, wobei jedes Struct einen Schlüssel und einen Wert enthält, und dieses Array wird als getrennte Arrays für Schlüssel und Werte gespeichert.
Deshalb werden Maps mit dem Operator sameElement() abgefragt, zum Beispiel mit dem Schlüssel 'country_of_origin' und dem Wert 'Norway'. Laut Vespa durchläuft der Operator alle Dokumente, die zum ersten Teilausdruck passen, prüft, ob auch die übrigen Teilausdrücke zutreffen, und bildet dann innerhalb jedes Dokuments die Schnittmenge der passenden Array-Positionen, um zu bestätigen, dass Schlüssel und Wert im selben Element stehen.
Die Folge: Die Abfragezeit wird von der Anzahl der Dokumente bestimmt, die zum ersten Teilausdruck passen. Haben nur wenige Dokumente den Schlüssel 'country_of_origin', ist die Abfrage schnell genug. Haben viele Dokumente ihn, kann die Abfrage laut Vespa „excruciatingly slow“ werden, also quälend langsam, was das Unternehmen mit einem Benchmark belegt.
Fast-Search auf dem Schlüssel- oder Wert-Struct-Feld zu aktivieren, behebt das dem Beitrag zufolge nicht. Der Benchmark wurde bereits damit durchgeführt. Fast-Search baut eine Indexstruktur auf, standardmäßig einen Binärbaum, mit der Vespa schnell alle Dokumente mit dem Schlüssel findet. An der Auswertung von sameElement() ändert das nichts, die Engine muss also weiterhin alle diese Dokumente durchgehen und die Schnittmengen berechnen.
Von der Eigenbaulösung zur integrierten Funktion
Vespa zufolge liegt das Grundproblem darin, dass die Indexstrukturen nicht direkt die Dokumente liefern, die zum sameElement()-Ausdruck als Ganzes passen. Der Beitrag wendet sich dann einem Do-it-yourself-Ansatz zu, der die flexible Container-Architektur von Vespa mit einer, wie das Unternehmen sagt, „hilariously simple idea“ kombiniert, also einer urkomisch einfachen Idee. Der vorliegende Text bricht vor den Details dieses Ansatzes ab.
Vespa erklärt, die Idee habe so gut funktioniert, dass man sie zu einer Produktfunktion namens Fast-Search-Map-Felder gemacht habe. Das Unternehmen sagt, jeder Nutzer könne die Leistungsgewinne nun einfach nutzen, und der Blogbeitrag verlinke auf einen Abschnitt dazu, wie sich die Funktion einsetzen lässt.
Für Teams, die Vespa mit heterogenen Produktdaten betreiben, ist die Neuerung dort relevant, wo Map-Felder Schlüssel enthalten, die in vielen Dokumenten vorkommen, also in dem Fall, den Vespa als langsam benennt. Das erklärte Ziel des Unternehmens ist es, die Suche reaktionsschnell zu halten und zugleich eine detaillierte Produktsuche über unterschiedliche Kataloge hinweg zu ermöglichen.


