IBMs ALTK-Evolve bringt GPT-4.1 an die Spitze des τ²-bench Retail
IBM Research zufolge hat die Methode ALTK-Evolve einen einfachen Kundenservice-Agenten auf Basis von GPT-4.1, einem älteren Modell ohne Reasoning, im τ²-bench Retail auf 67,5 % Pass^4 gebracht. Das Team gibt an, damit liege der Agent über allen Retail-Einträgen in seinem Leaderboard-Snapshot vom 12. Oktober 2026.
- Ein einfacher ReAct-Agent mit GPT-4.1 erreichte im τ²-bench Retail 67,5 % Pass^4 und lag damit über allen Retail-Einträgen in IBMs Leaderboard-Snapshot vom 12. Oktober 2026.
- ALTK-Evolve destilliert die Versuche eines Agenten bei Trainingsaufgaben zu Leitlinien, die an den System-Prompt angehängt werden, ohne Gewichts-Updates oder menschliche Annotation.
- Im Airline-Bereich stieg Pass^4 mit dem kompakten sup3-Set von 35,0 % auf 45,0 %, während das vollständige Set 40,0 % erzielte.
- Lossless-Leitlinien erhöhten die Kosten pro Gespräch im Retail-Bereich um 65 %, von 0,084 auf 0,139 US-Dollar, verlängerten die Gespräche aber nicht.
Gelernte Leitlinien statt Gewichts-Updates
ALTK-Evolve erstellt aus den eigenen Versuchen eines Agenten ein Playbook aus kurzen Verhaltensregeln. Laut den Autoren von IBM Research analysiert die Methode die Versuche des Agenten bei Trainingsaufgaben und lässt das Modell aus Erfolgen und Fehlschlägen Regeln destillieren, etwa dazu, wie ein Kunde authentifiziert, eine Transaktion bestätigt oder eine Rückgabe abgewickelt wird. Diese Leitlinien werden anschließend an den System-Prompt des Agenten angehängt und gelten für spätere Gespräche.
Dasselbe Modell, GPT-4.1, übernimmt sowohl die Extraktion der Leitlinien als auch die Rolle des Agenten. Nach Angaben der Autoren sind weder Gewichts-Updates noch menschliche Annotation nötig. Den Ansatz hatten sie zuvor bei Coding-Agenten gezeigt und testen ihn nun im Kundenservice, wo Erfolg davon abhängt, Domänenregeln zu befolgen, ein Anliegen zu verstehen und die richtigen Tool-Aktionen auszuführen.
So funktioniert der Test
Beim τ²-bench von Sierra tritt ein Agent gegen einen LLM-simulierten Kunden an, der ein Ziel verfolgt, dazu kommen domänenspezifische Tools und ein schriftliches Regelwerk. Eine Aufgabe gilt nur dann als gelöst, wenn der finale Datenbankzustand dem erwarteten Ergebnis entspricht, es gibt also eine strikte binäre Belohnung. IBM nutzte die Domänen Retail und Airline, den benchmarkeigenen einfachen ReAct-Agenten mit einer THINK-dann-ACT-Schleife, gpt-4.1 als Agentenmodell, gpt-5.5 als Kundensimulator und vier Durchläufe pro Aufgabe. Die einzige Änderung war der Block gelernter Leitlinien, der nach dem Domänenregelwerk eingefügt wurde.
Das Team verglich drei Konfigurationen: eine Baseline ohne Leitlinien, sup3, die nur Leitlinien behält, die aus mindestens drei verschiedenen Trainingsaufgaben stammen, und lossless, die jede nach der Konsolidierung verbliebene Leitlinie behält. Im Retail-Bereich waren es 31 Leitlinien bei sup3 und 292 bei lossless. Im Airline-Bereich waren es 14 und 101.
Erfasst wurden zwei Metriken: Mean Accuracy, die durchschnittliche Erfolgsquote über die vier Durchläufe, und Pass^4, der Anteil der Aufgaben, die in allen vier Durchläufen bestanden wurden. Pass^4 ist die Kennzahl, die das Leaderboard ausweist, und misst die Zuverlässigkeit.
Ergebnisse bei zurückgehaltenen Aufgaben
- Retail (40 Testaufgaben): Baseline 78,1 % Mean Accuracy und 57,5 % Pass^4. Sup3 kam auf 78,8 % und 60,0 %. Lossless erreichte 82,5 % und 67,5 %.
- Airline (20 Testaufgaben): Baseline 57,5 % und 35,0 %. Sup3 kam auf 60,0 % und 45,0 %. Lossless erreichte 65,0 % und 40,0 %.
Die optimale Menge an Anleitung unterschied sich je nach Domäne. Im Retail-Bereich waren mehr Leitlinien bei jeder Metrik besser. Im Airline-Bereich lag lossless bei der Genauigkeit vorn (65 % gegenüber 60 %), doch das kompakte sup3-Set war zuverlässiger, mit einem Pass^4 von 45 % gegenüber 40 %. Die Autoren folgern, der Support-Schwellenwert sei ein Stellrad, das je Domäne abgestimmt werden sollte, und kein Wert, den man fest vorgeben sollte.
Kosten und Gesprächslänge
Die Leitlinien verursachen zusätzliche Kosten, die in den Eingabe-Tokens des Prompts anfallen. Die gesamten LLM-Kosten pro Gespräch, also für Agent und Nutzersimulator, stiegen im Retail-Bereich von 0,084 US-Dollar in der Baseline auf 0,095 US-Dollar mit sup3 (+12 %) und 0,139 US-Dollar mit lossless (+65 %). Im Airline-Bereich stiegen sie von 0,081 auf 0,097 US-Dollar (+19 %) und 0,107 US-Dollar (+32 %).
Der Agent erreicht das Ergebnis nicht, indem er länger redet. Bei vergleichbaren Durchläufen, die unter beiden Einstellungen gelöst wurden, lag die Zahl der Assistenten-Züge pro Gespräch mit Leitlinien leicht niedriger. Im Retail-Bereich kamen Baseline und lossless im Schnitt auf 10,59 und 10,16 Züge. Im Airline-Bereich waren es 9,15 und 8,82.
Was das bedeutet
Laut IBM Research zeigen die Ergebnisse, dass ein einfacher Agent auf einem älteren Modell allein durch gelerntes Gedächtnis sowohl an Leistungsfähigkeit als auch an Zuverlässigkeit gewinnen kann, ohne Frontier-Modell und ohne jedes Nachtraining des Modells. Der Preis sind höhere Prompt-Kosten, und die beste Größe des Leitlinien-Sets hängt von der Domäne ab. Das Airline-Testset umfasste nur 20 Aufgaben und das Retail-Set 40, die Ergebnisse beruhen also auf kleinen zurückgehaltenen Stichproben.