Offene Modelle kürzen Fülltext beim Schlussfolgern, sparen aber nicht unbedingt Kosten

Neuere Veröffentlichungen von DeepSeek, GLM und Kimi verwenden beim Schlussfolgern deutlich weniger Fülltext. Das zeigt eine Analyse offener Modelle bei Programmieraufgaben durch Patronus AI. Der Wechsel zu knapperen Formulierungen senkte den Verbrauch von Reasoning-Tokens jedoch nicht generell.
- Der Fülltextanteil von DeepSeek sank von 26.6% auf 13.3%.
- Kimi K3.1 Pro hatte mit 9.8% den niedrigsten Fülltextanteil.
- Neuere Veröffentlichungen lösten 60 von 60 Vergleichsdurchläufen.
- Nur eine von drei Modellfamilien wurde bei den Reasoning-Tokens günstiger.
- Das neuere DeepSeek-Modell verwendete 2.5-mal so viele Reasoning-Tokens wie sein Vorgänger.
Drei Modellfamilien wurden deutlich knapper
Patronus AI verglich ältere und neuere Veröffentlichungen von drei offenen Modellfamilien anhand von 20 agentischen Programmieraufgaben. DeepSeek V4 Flash sank bei Füllwörtern in seinen Schlussfolgerungstexten von 26.6% auf 13.3% bei DeepSeek V4.1 Flash. GLM-5.2 fiel von 18.9% auf 13.6% bei GLM-5.3-Flash, während Kimi K3 von 18.0% auf 9.8% bei Kimi K3.1 Pro zurückging.
Über die drei Vergleiche hinweg sank der Anteil von Fülltext im Durchschnitt um 41%. Die neueren Veröffentlichungen lösten 60 von 60 Durchläufen, verglichen mit 58 von 60 bei den älteren Modellen. Den ausgewählten Aufgaben zufolge waren die knapperen Versionen laut Patronus AI damit nicht schlechter.
Was Patronus als Fülltext zählte
Die Analyse erfasste fünf Kategorien, auf die ein maximal knappes Schlussfolgerungsmodell verzichten könnte, ohne Informationen zu verlieren: Selbstgespräche wie „let me“ und „we need“, Artikel, Hilfsformen von „be“, „do“ und „have“, ausgewählte Konnektoren sowie Bezüge in der ersten Person wie „I“ und „we“. Vor der Zählung schloss Patronus AI Codeblöcke, Shell-Befehle und in Sätze eingebetteten Code aus der englischen Prosa aus.
Die Studie verwendete 12 offene Modelle, die jeweils einmal mit Aufgaben aus SWE-bench Verified, SWE-bench Pro und Terminal-Bench 2.1 ausgeführt wurden. Die Durchläufe nutzten einen hohen Schlussfolgerungsaufwand, eine Temperatur von 1.0 und dasselbe Kontextlimit von 262k Tokens. Ausgewählt wurden Aufgaben, die die Modelle größtenteils lösten. 192 von 200 Durchläufen mit aktuellen Modellen waren erfolgreich.
Unter den untersuchten aktuellen offenen Modellen hatte Kimi K3.1 Pro mit 9.8% den niedrigsten Fülltextanteil. Qwen3.8 Flash kam mit 23.7% auf den höchsten Wert.
Kürzere Schlussfolgerungen senkten den Tokenverbrauch meist nicht
Patronus AI stellte fest, dass nur eine der drei Modellfamilien bei den Reasoning-Tokens günstiger wurde. Das neuere Modell von DeepSeek verwendete trotz seines geringeren Fülltextanteils 2.5-mal so viele Reasoning-Tokens wie sein Vorgänger. Das Ergebnis trennt knappe Formulierungen von niedrigeren Rechen- oder Abrechnungskosten: Das Entfernen von Artikeln und anderer redundanter Sprache macht einen Schlussfolgerungsverlauf nicht zwangsläufig in Tokens kürzer.
Die Ergebnisse sind laut Patronus AI relevant, weil Schlussfolgerungstexte abgerechnet, protokolliert und zunehmend von Kontrollsystemen gelesen werden. Für Nutzer und Entwickler, die offene Modelle bewerten, deutet die Studie darauf hin, dass ein sauberer wirkender Verlauf die Lesbarkeit verbessern kann, ohne geringere Nutzungskosten zu garantieren. Patronus AI hat jeden Durchlauf einschließlich des vollständigen Verlaufs und der Bewertung im Datensatz PatronusAI/few-word-do-trick-traces auf Hugging Face veröffentlicht.
Patronus AI: Few Word Do Trick: Open Models Cut the Filler | Patronus AI


