Apple-Forscher senken die Denklatenz von Suchagenten um mehr als 90 Prozent
Apple-Forscher haben mit Selection-based Structured Reasoning (SSR) ein Framework vorgeschlagen, bei dem kleine multimodale Suchagenten ihre Denkschritte aus vorgegebenen Kandidaten auswählen, statt sie frei zu generieren. Laut der Studie verringert SSR die Latenz des Reasonings pro Runde um mehr als 90 Prozent und bleibt dabei bei der Aufgabenleistung auf Augenhöhe mit führenden Suchagenten derselben Größenklasse.
- Apples SSR-Framework macht aus Reasoning eine Auswahl aus vorgegebenen Kandidaten in natürlicher Sprache statt frei formulierter Generierung.
- Die Kandidaten werden mit Teacher-forced-Prefilling und einem gemeinsamen KV-Cache des Kontexts parallel bewertet, ohne zusätzlichen Task-Head.
- Getestet wurde auf sieben multimodalen Such-Benchmarks mit Modellen mit 2 und 4 Milliarden Parametern.
- Die Reasoning-Latenz pro Runde sinkt um mehr als 90 Prozent, die gesamte Inferenzlatenz pro Frage um 28 bis 54 Prozent.
- Die durchschnittliche Erfolgsquote ist laut den Autoren mit führenden Suchagenten derselben Größenklasse konkurrenzfähig.
Das Problem: Kleine Modelle, die zu viel denken
Multimodale Agenten erzeugen vor jeder Aktion üblicherweise frei formuliertes Reasoning. Die Apple-Studie argumentiert, dass das für kleine Modelle schlecht geeignet ist. Wegen ihrer begrenzten Kapazität produzieren sie mitunter lange Gedankengänge, die für die Erzeugung der nächsten Aktion kaum hilfreiche Orientierung bieten, aber dennoch erhebliche Inferenzkosten verursachen.
Die Arbeit mit dem Titel "Selection-Based Structured Reasoning: Toward Efficient Multimodal Search Agents" wurde im Oktober 2026 im Forschungsbereich Methods and Algorithms auf Apples Machine-Learning-Research-Website veröffentlicht. Zu den Autoren zählen Forscher, die mit der Carnegie Mellon University und der University of Illinois Urbana-Champaign verbunden sind; ein Teil der Arbeit entstand während ihrer Zeit bei Apple.
So funktioniert SSR
SSR formuliert Reasoning als Auswahl statt als offene Generierung. Das Framework bildet wiederkehrende übergeordnete Denkschritte als vorab festgelegte, wiederverwendbare Kandidaten in natürlicher Sprache ab. In jeder Runde wählt das Modell anhand ihrer Wahrscheinlichkeiten im aktuellen Kontext einen dieser Kandidaten aus. Laut den Autoren geschieht das ohne zusätzlichen Task-Head.
Da die Reasoning-Spuren vorab feststehen, lassen sich die Kandidaten parallel bewerten. Wie die Studie erläutert, berechnet ein Teacher-forced-Prefilling die Token-Wahrscheinlichkeiten gleichzeitig, sowohl innerhalb als auch zwischen den Kandidaten, und nutzt dafür einen gemeinsamen KV-Cache des Kontexts. In der Praxis ersetzt das eine lange Folge generierter Token durch einen Bewertungsschritt über eine bekannte Menge an Optionen.
Ergebnisse auf sieben Benchmarks
Die Forscher evaluierten SSR auf sieben multimodalen Such-Benchmarks mit Modellen mit 2 und 4 Milliarden Parametern. Getestet wurde das Verfahren mit mehreren Reinforcement-Learning-Zielfunktionen sowie mit überwachtem Fine-Tuning.
- SSR erreicht laut der Studie eine durchschnittliche Erfolgsquote, die mit führenden Suchagenten derselben Größenklasse konkurrieren kann.
- Die Latenz des Reasonings pro Runde sinkt um mehr als 90 Prozent.
- Die gesamte Modell-Inferenzlatenz pro Frage fällt um 28 bis 54 Prozent.
Die Autoren fassen das als deutliche Effizienzgewinne ohne Einbußen bei der Aufgabenleistung zusammen.
Was das bedeutet
Die Ergebnisse deuten auf einen Weg hin, kompakte multimodale Agenten günstiger und schneller zu betreiben, da das Reasoning oft einen großen Teil der Kosten pro Schritt ausmacht. Die genannten Zahlen gelten für die getesteten Modelle mit 2 und 4 Milliarden Parametern und die sieben Benchmarks. Zu Ergebnissen mit größeren Modellen oder zum Einsatz in konkreten Produkten macht die Quelle keine Angaben.
Die Arbeit steht zudem neben weiterer Apple-Forschung zu strukturiertem und effizientem Reasoning, darunter eine Studie vom Juli 2026 zum Lernen von strukturiertem Reasoning durch handhabbare Trajektoriensteuerung und eine Studie vom Mai 2025 zu Interleaved Reasoning für große Sprachmodelle per Reinforcement Learning.
