Redis teilt seinen Docs-Agenten in drei Entitäten auf, nachdem Evaluierungen schwaches Retrieval offengelegt haben

Redis hat beschrieben, wie das Unternehmen die Retrieval-Schicht eines Agenten neu aufgebaut hat, der Fragen anhand von redis.io/docs beantwortet: von einer einzigen Dokument-Entität hin zu drei miteinander verknüpften. Laut Redis zeigten die Evaluierungen insgesamt ein besseres Retrieval, allerdings auf Kosten zusätzlicher Tool-Aufrufe und einer langsameren Tail-Latenz.
- Redis hat seinen Docs-Agenten von einer RedisioDoc-Entität auf drei umgestellt: RedisioChunk, RedisioPage und RedisioCommand.
- Ein V1-Trace zur Frage „Was macht BF.RESERVE?“ förderte die Befehlsseite zu BF.RESERVE nie zutage und lieferte stattdessen Seiten zu Kubernetes und zur REST-API.
- Redis baute ein eigenständiges Evaluierungs-Kit, das Retrieval-Traces anhand eines Golden Datasets mit nDCG, Recall und Hit Rate bewertet.
- Laut Redis verbesserte das neue Design das Retrieval insgesamt, brachte aber mehr Tool-Aufrufe und eine langsamere Tail-Latenz mit sich.
Eine einzige Entität für alle Arten von Fragen
Redis schreibt, Fragen zur Dokumentation kämen in ganz unterschiedlichen Formen daher. „Was macht XACK?“ ist eine präzise Frage zu einem Befehl, „Wie sollte ich über Eviction-Policies nachdenken?“ ist breiter angelegt, und „Warum hinkt mein Stream-Consumer hinterher?“ kann mehrere Seiten, Befehle und Konzepte berühren.
Für die erste Version nutzte das Team Context Retriever, mit dem Entwickler ihre Daten ähnlich wie bei einem ORM modellieren können. Eine Entität definiert ein Schema, und Context Retriever stellt Retrieval-Tools bereit, die ein Agent aufrufen kann. Redis begann mit einer einzigen Entität, RedisioDoc, die eine Dokumentationsseite, einen Abschnitt oder einen Textabschnitt (Chunk) repräsentierte. Sie enthielt eine stabile ID, Titel, Thema, Abschnitt, Inhalt, Vektor-Embedding und kanonische URL.
Aus dem Schema wurden sechs Tools generiert, die Anwendung stellte dem Agenten aber vier zur Verfügung: Abruf per ID, Textsuche, Suche nach Ähnlichkeit der Inhalts-Embeddings und Filterung nach Thema. Die Filter für Unterthema und Version waren nicht freigegeben. Redis bezeichnet das als brauchbare Ausgangsbasis, weil sich ein kleines Toolset leichter überprüfen ließ. Allerdings presste es mehrere Retrieval-Aufgaben in eine einzige Form, sodass der Agent die Ergebnisse selbst durchforsten musste, egal ob er einen Überblick, eine Befehlsreferenz oder eine präzise Textstelle brauchte.
Die Belege bewerten, nicht nur die Antwort
Redis zufolge bewertete man das System zunächst so, wie es ein Nutzer tun würde: Klang die Antwort richtig, zitierte sie relevante Seiten, und wie lange dauerte sie? Dabei blieb ein Problem unentdeckt. Ein starkes Foundation-Modell kann aus unvollständigen Belegen überzeugende Prosa machen, indem es Lücken mit Allgemeinwissen füllt. Eine flüssige Antwort kann also auf schwachem Retrieval beruhen.
Laut Redis zwingt schwaches Retrieval das Modell, mehr irrelevanten Text zu lesen, mehr Aufrufe zu machen und sich auf bereits Gelerntes zu stützen. Das kostet Latenz und Tokens und drängt Teams zu einem größeren Modell. Gutes Retrieval dagegen lasse ein kleineres, schnelleres Modell dieselbe Antwort aus zitierfähigen Belegen erzeugen, so das Unternehmen.
Das Team baute deshalb ein eigenständiges Evaluierungs-Kit, das verschiedene Retrieval-Agenten, MCP-Server, APIs oder gespeicherte Traces gegen dasselbe Dokumentationskorpus testen kann. Ein Agent Skill hilft dabei, für jedes Ziel einen kleinen Adapter zu schreiben. Der Adapter ruft das System auf, parst die Antwort, behält die ursprüngliche Reihenfolge der Ergebnisse bei und ordnet Quellenkennungen stabilen Seiten-IDs zu. Ein wiederverwendbares Harness wandelt die Ausgabe anschließend in einen RetrievalTrace um, entfernt doppelte Seiten, ohne die Reihenfolge zu ändern, und vergleicht das Ranking mit einem Golden Dataset. Jeder Lauf erzeugt eine trace.jsonl und eine report.md mit Kennzahlen wie nDCG, Recall und Hit Rate.
Das Golden Dataset liefert jeweils eine Frage, die primären Quellen, die sie beantworten sollten, und verwandte Quellen. Die Fragen verteilen sich auf vier Gruppen:
- Einfache Lookups, etwa „Was macht BITCOUNT?“
- Mehrstufige Fragen, etwa einen Bloom-Filter anzulegen, Elemente hinzuzufügen und die Mitgliedschaft zu prüfen; erwartet werden hier die Seiten zu BF.RESERVE, BF.ADD und BF.EXISTS.
- Schwierige Fälle, darunter Fehlersuche und mehrdeutige Terminologie, etwa eine Frage dazu, dass XACK den Speicherverbrauch eines Streams nicht senkt.
- Chat-artige Fragen, kürzer und näher an Produktions-Prompts, etwa „Wie überwache ich die Redis-Latenz?“
Der BF.RESERVE-Trace und das Design mit drei Entitäten
Ein Trace machte die Schwäche deutlich. Auf die Frage „Was macht BF.RESERVE?“ durchsuchte V1 die gesamte Dokumentationssammlung viermal. Unter den ersten Treffern waren Seiten zu Kubernetes und zur REST-API, die zufällig Wörter wie „reserve“ oder „reservation“ enthielten. Der Bloom-Filter-Leitfaden tauchte erst weit unten in den ersten zehn Ergebnissen auf, die Befehlsseite zu BF.RESERVE gar nicht. Redis folgerte daraus: Die Dokumentation fehlte nicht, der Retriever hatte nur keinen direkten Weg zum Befehl als Entität.
Im nächsten Design wird die Dokumentation auf drei Entitäten verteilt:
- RedisioChunk enthält fokussierte Textabschnitte, die als Belege für Antworten dienen.
- RedisioPage enthält Seitenzusammenfassungen für die Orientierung (Discovery).
- RedisioCommand enthält strukturierte Befehlsreferenzen für gezielte Abfragen.
Redis deklarierte außerdem explizite Beziehungen zwischen Seiten und Chunks sowie zwischen Seiten und Befehlen, damit der Agent von der Orientierung zu den Belegen navigieren kann. Der vorliegende Quelltext bricht bei der Beschreibung dieser Beziehungen ab.
Was das für Agenten-Entwickler bedeutet
Der Beitrag argumentiert, dass unterschiedliche Retrieval-Aufgaben unterschiedliche Arten von Informationen brauchen: Ein kurzer Textabschnitt ist ein nützlicher Beleg, kann aber Kontext vermissen lassen. Eine Seitenzusammenfassung hilft bei der Orientierung, ist aber womöglich zu breit, um sie zu zitieren. Ein Befehl hat einen klaren Namen und eine klare Struktur, die eine allgemeine Prosa-Suche verwischen kann. Der Kompromiss, von dem Redis berichtet: Das aufgeteilte Design lieferte bessere Retrieval-Ergebnisse, benötigte aber mehr Tool-Aufrufe und zeigte eine langsamere Tail-Latenz.
Für Teams, die Dokumentationsagenten bauen, lautet die praktische Lehre aus dem Redis-Bericht: Retrieval getrennt von der endgültigen Antwort messen und unterschiedliche Retrieval-Aufgaben als eigene Entitäten modellieren, statt sie in einem breiten Dokumenttyp zusammenzufassen.
