Apple-Forscher trainieren neuronale Netze für schnellere RAG-Suche

Ein Suchproblem, das von Anfragen aus der Praxis geprägt ist

Die Suche nach maximalen inneren Produkten, kurz MIPS, kommt in Empfehlungssystemen, der Suche und bei RAG zum Einsatz. Ausgehend von einem Anfragevektor durchsucht ein MIPS-System eine Datenbank mit Schlüsselvektoren nach dem stärksten Treffer. Bei RAG wird das mit diesem Treffer verbundene Dokument normalerweise vor die Anfrage gestellt, damit es bei der Beantwortung der Frage helfen kann.

Der vollständige Vergleich einer Anfrage mit jedem Schlüssel wird zunehmend aufwendig, wenn Datenbanken Millionen von Schlüsseln erreichen und die Vektordimensionen in die Tausende gehen. Bestehende Näherungsverfahren nutzen Techniken wie Clustering und Quantisierung, um den Rechenaufwand zu verringern. Apple zufolge können diese Verfahren jedoch den Unterschied zwischen Anfragen und Schlüsseln übersehen. Bei RAG sind Anfragen oft kurze, von Nutzern formulierte Fragen, während Schlüssel für längere, redaktionell zusammengestellte Textabschnitte stehen.

Apple verweist außerdem auf Produktionssysteme mit stabilen und gut charakterisierten Anfrageverteilungen. Die Forscher argumentieren, dass Verfahren, die auf die Anfragen zugeschnitten sind, die ein System voraussichtlich erhält, Rechenressourcen effizienter nutzen können als generische, anfrageunabhängige Ansätze.

Wie das Routing von Anfragen erlernt wird

In einem auf der ICML 2026 vorgestellten Paper beschreiben Apple-Forscher das Training kleiner neuronaler Netze, die einmalig offline für eine feste Schlüsseldatenbank trainiert werden. Diese Netze lernen, wie typische Anfragen zugeordnet werden. Nach Angaben des Forschungsteams entsteht dadurch ein anfänglicher Aufwand, der während der Inferenz eine schnellere und genauere Suche ermöglicht.

Der Ansatz basiert auf der mathematischen Struktur von MIPS. Die Funktion, die eine Anfrage auf ihr größtes inneres Produkt mit einem beliebigen Schlüssel abbildet, ist die Stützfunktion der Schlüsselmenge. Apple zufolge ist diese Funktion konvex und eignet sich daher für die Approximation mit eingabekonvexen neuronalen Netzen, kurz ICNNs. Ihr Gradient an einer Anfrage gibt den am besten passenden Schlüssel zurück.

Die Forscher trainieren die Modelle mit Stichproben von Nutzeranfragen und Referenzausgaben, die durch eine vollständige Suche erzeugt werden. Die daraus entstehenden überwachten Daten bilden die Lösungslandschaft von MIPS für die für das System relevante Anfrageverteilung ab.

SupportNet und KeyNet übernehmen unterschiedliche Aufgaben

Apple beschreibt zwei spezialisierte Modelltypen. SupportNet lernt die Stützfunktion direkt und kann für jeden Datencluster eine Stützfunktion schätzen. Diese Schätzungen können das Routing verbessern, indem sie messen, wie gut der beste Schlüssel in einem Cluster zu einer Anfrage passt, statt sich nur auf den Abstand zwischen Anfrage und Clustermittelpunkt zu stützen.

Das Routing über Mittelpunkte kann einen starken Treffer übersehen, wenn ein relevanter Schlüssel weit vom Mittelpunkt seines Clusters entfernt, aber nahe an der Anfrage liegt. SupportNet soll den besten Schlüssel innerhalb jedes Clusters berücksichtigen, wenn es auswählt, welche Cluster geprüft werden.

KeyNet-Modelle lernen dagegen, den Vektor des am besten passenden Schlüssels direkt auszugeben. Ein auf dem Satz von Euler für homogene Funktionen basierender Konsistenzverlust hält die Vorhersagen mit der zugrunde liegenden Stützfunktion verbunden, obwohl KeyNet die Konvexität nicht explizit erzwingt.

Warum der Ansatz für RAG-Systeme wichtig ist

Die Forschung zeigt eine Möglichkeit, bekannte Anfragekategorien zu nutzen, um die Kosten einer Suche im großen Maßstab zu senken. Das könnte für RAG-Systeme nützlich sein, da die Auswahl des richtigen Dokuments die für die Beantwortung einer Frage verfügbaren Informationen beeinflusst und sich kurze Nutzerfragen erheblich von den als Schlüssel verwendeten gespeicherten Dokumenten unterscheiden können.

Apple berichtet über eine Evaluierung mit Natural Questions, aufgeteilt in 128 Cluster, und rund 2,6M eindeutigen Passagen in diesem Versuchsaufbau. Die Forscher trainierten SupportNet-Modelle in vier Größen mit den Bezeichnungen XS, S, M und L, die 1%, 5%, 10% und 20% der Datenbankgröße entsprechen. Die Quelle beschreibt die Suchleistung anhand von Trefferquote und Kosten. Die vorliegende Ankündigung enthält jedoch keine Ergebnisse in Form konkreter Zahlen.