Kensho erklärt, warum statische Benchmarks bei der Retrieval-Bewertung für Finanz-KI scheitern

Kensho, das KI-Team von S&P Global, hält feste Benchmarks für ungeeignet, um zuverlässig zu beurteilen, ob ein Retrieval-Agent in sich ständig verändernden Finanzdaten die richtigen Belege gefunden hat. In einem Engineering-Beitrag beschreibt das Unternehmen einen eigens entwickelten Evaluierungsaufbau, der jede Frage zeitlich einfriert, um zu prüfen, ob der Agent vertrauenswürdige Daten geliefert hat.
- Kensho zufolge setzen feste Benchmarks wie MS MARCO und BEIR einen festen Bestand und vorab definierte richtige Ergebnisse voraus, was produktive Finanzdaten nicht bieten.
- Die Bewertung nutzt einen eigens entwickelten Aufbau, der jede Frage zeitlich einfriert, um zu prüfen, ob der Agent vertrauenswürdige Daten geliefert hat.
- Untersucht werden fünf Ebenen: Chunk-Inhalt, Chunk-Metadaten, Chunk-Identitäten, Agenten-Trace und generierte Antwort.
- Ein A/B-Ansatz mit LLM-Judge gilt als „vielversprechend, aber noch nicht bewiesen“ und wird in der Praxis nicht genutzt.
- Maximale Stabilität sei nicht das Ziel, so Kensho, da erzwungene Konsistenz die Argumentation des Agenten einschränken würde.
Ein Retrieval-Problem in ständiger Bewegung
Finanzprofis arbeiten mit strukturierten Datensätzen wie Unternehmenszahlen und Marktdaten sowie mit unstrukturierten Quellen wie Transkripten von Earnings Calls, Investorenpräsentationen und Unternehmensmeldungen. Je mehr Analysen in KI-Anwendungen und agentische Workflows wandern, desto größer wird laut Kensho die Herausforderung, genau die richtige Information bereitzustellen, die auf vertrauenswürdigen und überprüfbaren Daten beruht.
Das S&P Global AI Data Portal bietet zwei Retrieval-Verfahren, die mit beliebigen KI- und Agentenarchitekturen funktionieren sollen. Für komplexe, offene Recherchen gibt es Adaptive Retrieval. Dabei wird eine Frage in natürlicher Sprache in Teilanfragen zerlegt, und jede davon wird an einen spezialisierten Agenten weitergeleitet, der mit Fachwissen für einen bestimmten Datensatz entwickelt wurde. Die Agenten liefern Antworten mit Quellenangaben. Aus diesem Aufbau ergibt sich die Frage, die der Beitrag beantworten will: Woher weiß man, ob ein Agent die besten verfügbaren Belege gefunden und eine verlässliche Antwort erzeugt hat?
Fünf Ebenen der Bewertung
Die Agenten von Kensho für die Suche in unstrukturierten Daten liefern keine fertigen Antworten, sondern wörtliche Textabschnitte (Chunks) aus fundierten Dokumenten. Das Team betrachtet mehrere Ebenen, die jeweils einen anderen Blick auf die Qualität erlauben:
- Chunk-Inhalt: Die abgerufenen Belege werden mit Gold-Snippets verglichen, also Textpassagen, die ein Fachexperte als die Belege markiert, die eine Frage liefern sollte. Ohne besondere Vorkehrungen veralten diese, sobald neue Dokumente erscheinen.
- Chunk-Metadaten: Erwartete Unternehmen, Daten, Geschäftsperioden und Dokumenttypen bleiben meist stabil, wenn sich der Bestand ändert. Sie zeigen, ob das Retrieval im richtigen Rahmen blieb, nicht aber, ob der Inhalt die Frage beantwortet.
- Chunk-Identitäten: Der Vergleich von Chunks über wiederholte Durchläufe hinweg zeigt die Stabilität. Die Überlappung misst Konsistenz, nicht Korrektheit, da verschiedene Chunks gleichermaßen gültig sein können.
- Agenten-Trace: Anfragen, Tool-Aufrufe und Suchentscheidungen zeigen, ob der Agent seinen Anweisungen gefolgt ist. Wegen der Nichtdeterminiertheit wäre ein einzelner Gold-Trace zu restriktiv, Entwickler können aber prüfen, ob ein Trace einer erwarteten Grundform folgt.
- Generierte Antwort: Sie geht über den Output-Vertrag des Agenten bei Adaptive Retrieval hinaus, dient aber als Stellvertreter für die gelieferten Belege und kann Vergleiche erleichtern.
Warum MS MARCO und BEIR nicht genügen
Strukturierte Daten haben ihren eigenen Lösungsschlüssel: Eine Umsatzzahl ist richtig oder falsch. Unstrukturierte Finanzinformationen haben so etwas laut Kensho nicht. Belege sind über Fließtext verstreut, von Kommentaren des Managements in einem Call bis zu Angaben in Behördenmeldungen, und sie zu finden kann verlangen, Zeiträume, Unternehmen, Dokumenttypen und Finanzterminologie richtig zu deuten.
Die klassische Bewertung im Information Retrieval beginnt mit einer festen Dokumentensammlung, einer Menge von Fragen und Relevanzurteilen und bewertet Systeme dann mit Kennzahlen wie Recall@k, Mean Reciprocal Rank und nDCG. Benchmarks wie MS MARCO und BEIR haben dieses Rahmenwerk laut dem Beitrag für die Forschung unverzichtbar gemacht, doch es setzt voraus, dass der Bestand fest ist und das richtige Ergebnis sich im Voraus definieren lässt. Produktive Finanzdaten erfüllen beides nicht. Ständig kommen neue Dokumente hinzu, sodass Gold-Labels veralten, und viele Fragen lassen mehr als eine vernünftige Deutung zu, weshalb selbst Experten über die ideale Antwort uneins sein können.
Öffentliche Benchmarks hält Kensho weiterhin für einen nützlichen Ausgangspunkt, um Methoden abstrakt zu vergleichen. Das Unternehmen warnt allerdings, dass ein System auf einem statischen Referenzset gut abschneiden und in der Praxis dennoch schwach sein kann.
Systeme ohne Gold-Labels vergleichen
Eine Option, die das Team untersucht hat, ist eine Art unüberwachter A/B-Test. Ein LLM verfasst eine Antwort auf Grundlage der Chunks, die jeweils eine von zwei Systemversionen abgerufen hat, und ein Judge wählt die Antwort, die die Frage besser beantwortet. Antworten treten an die Stelle der abgerufenen Inhalte, weil der Vergleich zweier Chunk-Listen schlecht definiert ist: Sie unterscheiden sich in Anzahl, Länge, Granularität, Überlappung und Reihenfolge, und Kennzahlen wie nDCG gehen von einem Menschen aus, der von oben nach unten liest, nicht von einem nachgeschalteten LLM.
Der Ansatz hat seine eigene Schwachstelle, nämlich den Judge. Laut Kensho können sich LLM-Judges von Ausführlichkeit, Formatierung, Schreibstil und sogar von der Reihenfolge, in der die Antworten erscheinen, beeinflussen lassen. Das Umkehren der Reihenfolge und Längenanalysen helfen, diese Verzerrungen aufzudecken, doch ein Judge ist nur so vertrauenswürdig, wie er mit Fachexperten übereinstimmt. Dafür braucht es gelabelte Vergleiche und Expertenzeit, um seinen Prompt abzustimmen. Paarweise Läufe sind zudem langsamer, weil sie mehrere LLM-Aufrufe erfordern. Das Unternehmen bezeichnet die Methode als „vielversprechend, aber noch nicht bewiesen“ und verlässt sich in der Praxis nicht darauf.
Der Beitrag geht auch auf die Konsistenz ein. Agentisches Retrieval ist eine Kette nichtdeterministischer, LLM-gesteuerter Entscheidungen, sodass dieselbe Frage zweimal gestellt zu unterschiedlichem Verhalten und unterschiedlichen Ergebnissen führen kann. Kensho schreibt: „Maximale Stabilität ist nicht das Ziel.“ Bei offenen Fragen würde erzwungene Konsistenz die Argumentation des Agenten einschränken und die Antwortqualität senken, um geringere Streuung zu erkaufen; angestrebt wird daher ein Gleichgewicht. Der Ausgangstext bricht ab, bevor das Team dieses Gleichgewicht zu Ende beschreibt.
Was das für Teams bedeutet, die auf Finanzdaten aufbauen
Der Beitrag gibt Einblick, wie ein großer Datenanbieter seine eigenen Retrieval-Agenten testet, und er benennt offen die Grenzen. Kensho behauptet nicht, dass eine einzelne Kennzahl die Qualität klärt. Das Unternehmen beschreibt eine Evaluierung, die sich um Vergleich, Variabilität, Verzerrungen der Bewerter und Zeit dreht. Für Teams, die Recherche-Agenten auf schnell veränderlichen Dokumentbeständen aufbauen, lautet die praktische Botschaft: Stabile Signale wie Metadaten-Prüfungen des Rahmens und die Form des Traces können Gold-Snippets ergänzen, die mit neuen Meldungen und Transkripten veralten.
Kensho (S&P Global): Beyond static benchmarks: How Kensho evaluates AI retrieval across evolving financial data


