Ai2-Studie: LLM-Bewertungen der Neuheit von Forschungsideen sind unzuverlässig

Warum Neuheitsjuroren wichtig sind

Die Studie mit dem Titel Old Ideas, Novel Problems befasst sich mit dem, was Ai2 als Neuheitsjuroren (novelty judges) bezeichnet: LLMs, die einschätzen, ob eine Forschungsidee gegenüber früheren Arbeiten neu ist, entweder für sich genommen oder im Vergleich mit einer anderen Idee. Ai2 veröffentlicht die Arbeit nach eigenen Angaben zusammen mit einem Benchmark, Daten und Code zum Testen solcher Juroren sowie mit einer automatisierten Pipeline, mit der Forschende neue Evaluationsdatensätze erstellen können.

Die Arbeit knüpft an Ai2s eigene Bemühungen an, KI-Systeme für die wissenschaftliche Entdeckung zu bauen. Das Institut verweist auf DataVoyager, das Forschende bei der Erkundung und Analyse strukturierter Daten unterstützt, auf AutoDiscovery, das Hypothesen generiert und testet, und auf Theorizer, das Belege aus umfangreicher Literatur zu möglichen wissenschaftlichen Theorien verdichtet. Ideen zu erzeugen sei nur ein Teil der Aufgabe, argumentiert Ai2, denn die Ideen müssten auch tatsächlich etwas Neues beitragen.

Einen Standard für den Bau eines Neuheitsjurors gibt es nicht. Laut Ai2 wählen Teams Modell, Prompt, Evaluationsformat, Reasoning-Budget und mitunter ein System zur Literaturrecherche, und diese Entscheidungen können das Urteil erheblich beeinflussen. Zudem würden Juroren oft nur an von Menschen verfassten Arbeiten validiert und nicht an den KI-generierten Ideen, die sie eigentlich bewerten sollen, so das Institut.

So wurde der Benchmark aufgebaut

Ai2 hat eine automatisierte Pipeline auf Basis der Peer-Reviews zur ICLR 2026 gebaut. Statt die Annahme eines Papers als Stellvertreter für Neuheit zu nutzen, durchsuchte das Team die Reviews nach Passagen, in denen Gutachter ausdrücklich die Originalität eines Beitrags diskutierten. Ein Paper kann angenommen werden, ohne besonders neu zu sein, wenn es an anderer Stelle überzeugt, und ein abgelehntes Paper kann dennoch originell sein.

• Der Pool mit hoher Neuheit umfasst 154 von Menschen verfasste Ideen aus angenommenen Papers, die zu den bestbewerteten 10 % ihres ICLR-Forschungsgebiets gehören, bei denen Gutachter Neuheit positiv hervorhoben und keiner sie bestritt.
• Der Pool mit geringerer Neuheit umfasst 145 Ideen aus abgelehnten Papers unter den schlechtesten 10 %, bei denen Gutachter Bedenken zur Originalität äußerten und keiner Neuheit positiv hervorhob.

Bei einer Prüfung der Review-Auswertung stimmte ein Annotator in 47 von 50 Fällen mit der extrahierten Polarität des Neuheitssignals überein; keine der Abweichungen hätte geändert, wie ein Gutachter gezählt wurde.

Diese Pools bilden das Human-Only-Setting. Ein zweites Setting, Human+Generated, stellt dieselben 154 validierten menschlichen Ideen 154 Ideen eines einfachen LLM-Generators gegenüber, der nur ein Forschungsgebiet und die Anweisung erhielt, eine neuartige Idee vorzuschlagen. Ai2 geht davon aus, dass die generierten Ideen weniger neu sind, und bezeichnet diese Labels als schwach (weak labels). Ein Experte, der 30 der Paare prüfte, bevorzugte in allen 30 die menschliche Idee und hielt keine der generierten Ideen für neu.

Kleine Änderungen, große Ausschläge

Ai2 testete sechs Juroren: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 und Claude Opus 4.6. Dabei wurde jeweils nur ein Faktor verändert, darunter Prompt, Reasoning-Budget, Zugriff auf verwandte Papers, Formatierung der Ideen, Anzahl der zusammengeführten Urteile und das Generatormodell, und zwar sowohl mit Einzelbewertungen (pointwise) als auch mit paarweisen Vergleichen.

Die größten Ausschläge verursachte das Prompting. GPT-5.4 bekam Human+Generated-Paare mit zwei Prompts vorgelegt. Der eine besagte, Gutachter hätten in jedem Paar genau eine Idee als neu eingestuft, und fragte, welche; der andere fragte schlicht, welche Idee neu sei. Mit dem einfacheren Prompt sank die Genauigkeit von 93,5 % auf 40,9 %, also unter das Zufallsniveau, und das Modell änderte bei mehr als der Hälfte der Paare sein Urteil.

Beim Human-Only-Datensatz verschob dieselbe Änderung die Genauigkeit von GPT-5.4 nur um etwa sieben Prozentpunkte, die von Claude Opus 4.6 jedoch um 21 Punkte. Ai2 folgert, dass ein Juror bei menschlicher Forschung stabil wirken, bei KI-generierten Ideen aber ein ganz anderes Verhalten zeigen kann.

Kein Prompt war durchweg besser. Das Weglassen einer Anweisung, triviale oder inkrementelle Beiträge nicht als neu zu werten, half manchen Juroren und schadete anderen. Beim Vergleich von Ideen zweier KI-Generatoren (Claude Opus 4.5 gegen Claude Sonnet 4.5 sowie GPT-5.4 gegen GPT-5.1) änderten sich bei den getesteten Prompt-Varianten im Schnitt über die sechs Juroren etwa ein Viertel bis ein Drittel der Urteile.

Mehr Suche und Reasoning brachten keine Lösung

Ai2 prüfte außerdem, ob aufwendigere Technik hilft. Das Institut gab GPT-5.6 Sol ein extrahohes Reasoning-Budget und eine iterative Live-Suche, beschränkt auf arXiv, und verglich es mit Juroren, die jeweils fünf vorab abgerufene Abstracts sahen. Bei Human+Generated erreichte der agentische Juror einen Macro-F1 von 0,78. Das sind 11 Punkte weniger als Claude Opus 4.6 mit 0,89 und ungefähr der Bereich einfacherer Setups mit Claude Opus 4.5 und GPT-5.4, bei etwa 10× höheren Kosten pro Entscheidung zu aktuellen API-Preisen.

Retrieval und zusätzliches Reasoning verbessern die Urteile laut Ai2 nicht durchgängig, und zwei eigens für die Neuheitsbewertung entwickelte Systeme schneiden schlechter ab als eine einfache Baseline mit Claude Opus 4.6 und schlichtem Prompt.

Was das bedeutet

Ai2 sagt, die Ergebnisse legten nahe, dass „die Neuheitsbewertung selbst alles andere als verlässlich ist“. Für Teams, die ein LLM nutzen, um KI-generierte Forschungsideen zu ranken oder zu filtern, bedeuten die Befunde, dass die Wahl des Juror-Prompts das Ergebnis verändern kann, auch bei Vergleichen zwischen Ideengenerierungssystemen. Ai2 weist darauf hin, dass viele seiner zentralen Erkenntnisse nicht von den Labels abhängen, da schon zwei vernünftige Setups, die für dasselbe Ideenpaar gegensätzliche Antworten geben, die Instabilität belegen.

Der veröffentlichte Benchmark samt Daten, Code und Pipeline soll es anderen ermöglichen, das Problem zu untersuchen. Ai2 beschreibt sie als Werkzeuge dafür und zeigt zugleich, wie viel noch ungelöst ist.