SPLADE-Code bringt Learned Sparse Retrieval mit bis zu 8 Milliarden Parametern in die Code-Suche
Forschende von NAVER LABS Europe haben SPLADE-Code vorgestellt, nach eigener Darstellung die erste großangelegte Familie von Learned-Sparse-Retrieval-Modellen, die speziell für die Code-Suche entwickelt wurde. Laut den Autoren erreicht die Modellklasse mit 600 Millionen Parametern unter den Retrievern mit weniger als 1B Parametern Spitzenwerte: 75,4 Punkte auf MTEB Code.
- NAVER LABS Europe stellt SPLADE-Code vor, nach eigener Darstellung die erste großangelegte Familie von Learned-Sparse-Retrieval-Modellen für Code (600M bis 8B Parameter).
- Laut den Autoren erreichen die Modelle unter den Retrievern mit weniger als 1B Parametern 75,4 auf MTEB Code, das 8B-Modell kommt auf 79,0.
- Das Training erfolgt mit einer schlanken einstufigen Pipeline.
- Gelernte Expansions-Token sind entscheidend, um lexikalisches und semantisches Matching zu verbinden.
- Für eine Sammlung von 1 Million Passagen wird eine Suche im Submillisekundenbereich bei geringen Effektivitätseinbußen berichtet.
Warum Sparse Retrieval für Code schwierig ist
Die Suche in großen Codebasen ist laut dem Paper eine Schlüsselkomponente moderner, auf LLMs basierender Systeme für die Softwareentwicklung. Die meisten bestehenden Ansätze setzen auf dichte Embedding-Modelle (Dense Retrieval), während Learned Sparse Retrieval (LSR) für Code bislang weitgehend unerforscht geblieben ist.
Die Autoren Simon Lupart, Maxime Louis, Thibault Formal, Hervé Déjean und Stéphane Clinchant nennen mehrere Gründe, warum sich der Ansatz nur schwer auf Code übertragen lässt:
- Fragmentierung in Subwörter
- semantische Lücken zwischen Anfragen in natürlicher Sprache und Code
- die Vielfalt an Programmiersprachen und Teilaufgaben
- die Länge von Code-Dokumenten, die Sparsity und Latenz beeinträchtigen kann
Die Arbeit erscheint in den Findings der Conference on Empirical Methods in Natural Language Processing (EMNLP), die vom 24. bis 29. Oktober 2026 in Budapest (Ungarn) stattfindet.
Was SPLADE-Code leistet
SPLADE-Code ist eine Modellfamilie mit 600 Millionen bis 8 Milliarden Parametern. Trainiert wird sie nach Angaben der Autoren mit einer schlanken einstufigen Pipeline. Trotz dieser Einfachheit berichten sie von Spitzenleistungen unter den Retrievern mit weniger als 1B Parametern, nämlich 75,4 auf MTEB Code. Im größeren Maßstab erreicht das 8B-Modell 79,0, was die Autoren als konkurrenzfähige Ergebnisse bezeichnen.
Das Paper zeigt außerdem, dass gelernte Expansions-Token entscheidend sind, um lexikalisches und semantisches Matching zu verbinden. Die Modelle ergänzen also nützliche Begriffe, die in einer Anfrage oder einem Code-Abschnitt nicht wörtlich vorkommen, und helfen so, Fragen in natürlicher Sprache mit Code zu verknüpfen.
Latenz und Bedeutung für die Praxis
Die Autoren legen eine Latenzanalyse vor, wonach LSR bei einer Sammlung von 1 Million Passagen eine Suche im Submillisekundenbereich ermöglicht, bei nur geringen Einbußen an Effektivität. Das adressiert ein praktisches Problem von Systemen, die große Codebasen schnell durchsuchen müssen.
Für Teams, die LLM-basierte Werkzeuge für die Softwareentwicklung bauen, deuten die Ergebnisse darauf hin, dass Sparse Retrieval eine tragfähige Alternative zu den dichten Embedding-Modellen ist, die das Feld derzeit dominieren. Zu Veröffentlichung und Verfügbarkeit der Modelle macht die Quelle keine Angaben; das muss daher anhand des Papers selbst geprüft werden.
NAVER LABS Europe: On the challenges and opportunities of learned sparse retrieval for code
