Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

AI21 Labs: Erst prüfen, ob ein Agent seine Antwort verifizieren kann, dann skalieren

6. Oktober 2026, 10:06Von der KI Nachrichten RedaktionQuelle: AI21 Labs
AI21 Labs: Erst prüfen, ob ein Agent seine Antwort verifizieren kann, dann skalieren
Bild: AI21 Labs

AI21 Labs plädiert dafür, vor jeder Rechenleistungserweiterung eines KI-Agenten eine Frage zu stellen: Erkennt der Agent, wann er die richtige Antwort gefunden hat? Laut dem Unternehmen entscheidet die Antwort darüber, ob man in Verifikation und Auswahl oder in Vielfalt und Aggregation investieren sollte.

Das Wichtigste in Kürze
  • AI21 Labs schlägt einen Lackmustest vor: Kann ein Agent sein eigenes Ergebnis verifizieren? Die Antwort entscheidet, wohin das Budget fließt.
  • Verifizierbare Aufgaben profitieren von Verifikation und Auswahl, nicht verifizierbare von Vielfalt und Aggregation.
  • Auf BrowseComp-Plus erreichten kalibrierte Konfidenzwerte plus ein Modell-Ensemble laut AI21 eine Genauigkeit von 95,18 %.
  • Der trainierte 8B-Verifizierer von AI21 erreichte bei einem Ensemble aus offenen und geschlossenen Modellen die Qualität eines Frontier-Verifizierers bei 3,2-fach geringeren Kosten.
  • Das Zusammenführen von Berichten sieben niedrig platzierter Agenten belegte laut AI21 den ersten Platz auf DeepResearch Bench II.

Warum Skalieren nicht an erster Stelle stehen sollte

Fragt man die meisten Ingenieure, wie sich ein Agent verbessern lässt, lautet die übliche Antwort: skalieren, also mehr Versuche, längerer Kontext, ein stärkeres Modell. AI21 zufolge unterstellt das, dass die bestehende Architektur grundsätzlich richtig und nur zu schwach ausgelegt ist. Skalieren funktioniere meist, schreibt das Unternehmen, sei aber der teure Weg.

Auf Basis von mehr als einem Jahr Forschung zur Agentenoptimierung habe AI21 diese Annahme wiederholt als falsch erlebt. Als Anzeichen für architektonische Verschwendung nennt das Unternehmen: ein einheitliches Budget für unterschiedlich anspruchsvolle Aufgaben, Signale und Rollouts, die erzeugt und dann verworfen werden, und ein Frontier-Modell im Einsatz, wo ein offenes Modell genauso gut genügen würde.

Der vorgeschlagene Lackmustest ist einfach: Lässt sich ein Kandidat an irgendetwas überprüfen? Das sei eine Eigenschaft der Aufgabe, nicht des Modells. Falls ja, empfiehlt AI21, in Verifikation und Auswahl zu investieren. Falls nein, in Vielfalt und Aggregation. Eine zweite Frage betrifft die Pipeline: Nutzt sie die vorhandene Prüfmöglichkeit bereits aus? AI21 beantwortet das mit einem Orakel-Experiment, bei dem die Auswahl anhand von Ground-Truth-Antworten erfolgt, um eine Obergrenze zu setzen, die kein reales System übertreffen kann.

Agentische Suche: Verifikation zahlt sich aus

Die mehrstufige agentische Suche (Multi-Hop) ist laut AI21 verifizierbar, weil die Antwort eine einzelne kurze Entität ist und die Frage explizite Bedingungen nennt. Im Orakel-Experiment lag pass@k weit über pass@1. Das deutete darauf hin, dass richtige Antworten oft unter den Versuchen auftauchten, aber nicht ausgewählt wurden. Damit sah das Team Verifikation als den richtigen Ansatz.

Das Unternehmen beschreibt zwei Vorgehensweisen:

  • Kalibrierte Konfidenzwerte. Auf BrowseComp-Plus bildete die eigene Konfidenz der Modelle nach der Kalibrierung die Genauigkeit gut genug ab, um die Auswahl zu steuern. Kombiniert mit einem Ensemble aus Modellen, die bei unterschiedlichen Anfragen scheitern, wurde eine Genauigkeit von 95,18 % erreicht, was AI21 als Stand der Technik bezeichnet.
  • Ein unabhängiger Verifizierer. Konfidenz ist eine Selbsteinschätzung und kann falsch liegen. Beim Test von Ensembles kleiner Modelle auf FACTS-Search stellte AI21 fest, dass Mehrheitsentscheidungen eine falsche, aber häufig genannte Antwort nicht korrigieren können. Stattdessen setzte das Unternehmen einen Verifizierer ein, der jeden Kandidaten von Grund auf neu recherchiert und falsche Antworten per Veto aussortiert.

Laut AI21 erreichte der selbst trainierte 8B-Verifizierer bei einem Ensemble aus offenen und geschlossenen Modellen die Qualität eines Frontier-Verifizierers bei 3,2-fach geringeren Kosten. Bei einem reinen Open-Source-Ensemble steigerte er die Genauigkeit auf identischen Kandidaten um 28 % gegenüber einfacher Mehrheitsentscheidung und erreichte mehr als 80 % dessen, was ein Frontier-Verifizierer auf diesem Pool schaffte, für rund ein Hundertstel des Preises.

Deep Research: zusammenführen statt auswählen

Deep Research besteht den Test laut AI21 nicht, weil niemand vorab aufzählen kann, was ein vollständiger Bericht enthalten muss. Einzelne Aussagen lassen sich prüfen, die Vollständigkeit jedoch nicht, da dafür die Recherche erneut durchgeführt werden müsste. Solche Berichte werden an ihrer Abdeckung gemessen.

DeepResearch Bench II bewertet Berichte anhand einer langen Liste von Experten verfasster Rubrikpunkte, meist konkrete Fakten. AI21 weist darauf hin, dass diese Liste nur von Experten im Nachhinein erstellt werden konnte; in der Produktion gebe es sie nicht.

Das Unternehmen testete zwei Orakel-Strategien. Die Auswahl des einzelnen besten Berichts lag mit ihrer Obergrenze unter dem Stand der Technik. Das Zusammenführen mehrerer Berichte zu einem übertraf ihn deutlich. AI21 entwickelte daraufhin einen Merging-Algorithmus und kombinierte Berichte von sieben im Leaderboard niedrig platzierten Agenten. Laut dem Unternehmen belegte der zusammengeführte Bericht den ersten Platz, vor jedem der beteiligten Agenten und vor dem bisherigen Stand der Technik.

AI21 versteht Vielfalt und Aggregation als Rückfalloption, wenn Verifikation nicht möglich ist, nicht als Alternative dazu.

RAG-Indexierung und was das bedeutet

Der Beitrag behandelt außerdem die RAG-Indexierung, die AI21 als einen der schwierigsten Fälle für Verifizierbarkeit beschreibt. Entscheidungen wie die Chunk-Größe müssen getroffen werden, bevor irgendeine Frage gestellt wird, und ein einzelnes Richtlinienhandbuch muss unter Umständen sowohl eine präzise Nachfrage zur Kündigungsfrist als auch eine breitere Frage zu Spesen beantworten. Der hier vorliegende Quelltext bricht in diesem Abschnitt ab; zudem wird agentisches Coding als vierter Bereich genannt, ohne weitere Details.

Für Teams, die Agenten bauen, lautet die Botschaft von AI21: erst die Aufgabe diagnostizieren, dann mehr Rechenleistung einkaufen. Wo sich Ergebnisse prüfen lassen, kann ein günstiger, gezielt eingesetzter Verifizierer ein größeres Modell schlagen. Wo nicht, kann die Kombination unterschiedlicher Versuche besser sein, als einen einzelnen auszuwählen.

Ähnliche Meldungen

USC ISI stellt auf der SC26 KI-, Workflow- und Cybersicherheitsforschung vor
Forschung13. November 2026, 22:43

USC ISI stellt auf der SC26 KI-, Workflow- und Cybersicherheitsforschung vor

Forschende des Information Sciences Institute der University of Southern California präsentieren Arbeiten zur Automatisierung wissenschaftlicher Workflows, zu…

Google erläutert Antigravitys Multiagenten-Ergebnisse in Mathematik und TechnikTop-Meldung
Produkte und Tools13. November 2026, 21:47

Google erläutert Antigravitys Multiagenten-Ergebnisse in Mathematik und Technik

Google zufolge haben die Multiagentensysteme von Antigravity mit /teamwork menschliche Forscher dabei unterstützt, offene Probleme in Mathematik, Chemie, Systemsoftware…

AI21: Post-Training hebt Nemotron 3.5 Super über Frontier-Qualität
Forschung4. November 2026, 09:59

AI21: Post-Training hebt Nemotron 3.5 Super über Frontier-Qualität

AI21 zufolge wurde NVIDIA Nemotron 3.5 Super VL durch Post-Training so verbessert, dass es beim globalen Payroll-Benchmark von Deel Claude Opus 5.5 übertrifft und pro 1…