Pydantic-Benchmark: Code Mode halbiert bei langen Agentenaufgaben ungefähr die Kosten

Ein Benchmark aus bewusst unspektakulären Agenten

Die Idee hinter Code Mode: Ein Agent soll Tools nicht einzeln aufrufen. Stattdessen schreibt das Modell ein kleines Programm, das sie aufruft, und nur das Ergebnis geht zurück an das Modell. Pydantic weist darauf hin, dass Cloudflare und Anthropic jeweils eine Variante anbieten und dass OpenCode 2 MCP-Tools inzwischen standardmäßig über Code Mode leitet. Pi liefert ein codemode-Tool mit.

Der Autor des Pydantic-Artikels schreibt, die meisten Zahlen, die er bisher gesehen habe, stammten von Agenten mit Hunderten Tools oder riesigen Payloads. Viele reale Agenten seien aber deutlich bescheidener: eine Handvoll CRUD-Tools und eine Aufgabe, die erledigt werden soll. Der Benchmark nutzt deshalb fünf kleine Pydantic-AI-Apps: einen Warenkorb, einen Kalender, einen Chatroom, ein Kanban-Board und ein Inventarsystem. Jede App hat nur Tools für einzelne Einträge (auflisten, abrufen, anlegen, aktualisieren, löschen), mit paginierten Listen und ohne Bulk-Endpunkte.

Die Aufgaben waren in drei Stufen gegliedert. Die 50 Alltagstests, zehn je App, benötigten ohne Code Mode rund 13 Tool-Aufrufe pro Lauf. Die 12 Langzeitaufgaben betrafen 60 bis 500 Datensätze und erforderten etwa 68 Aufrufe. Bei den Skalierungsaufgaben wurde eine Regel auf 5, 20, 50, 100 und 200 Einträge angewendet, bei 200 Einträgen kamen die Läufe ohne Code Mode im Schnitt auf 168 Tool-Aufrufe. Insgesamt bewertete Pydantic in einem internen Benchmark 5.276 Läufe über acht Modelle, jeweils mit und ohne Code Mode.

Was die Zahlen zeigen

Bei langen Aufgaben senkte Code Mode laut Pydantic über alle acht Modelle hinweg die Kosten um 58 % und die Laufzeit um 51 %, die Erfolgsquote stieg um 16,0 Punkte. Ohne Code Mode scheiterten 67 von 288 Läufen, mit Code Mode waren es 21.

Mit der Aufgabengröße wuchs der Abstand. Bei gpt-6.1-sol kosteten ohne Code Mode jeweils 100 zusätzliche Einträge 30 bis 79 Sekunden und 0,04 bis 0,07 US-Dollar pro Lauf. Mit Code Mode betrug die zusätzliche Zeit bei vier der fünf Aufgaben 4 bis 9 Sekunden, und die Mehrkosten lagen bei dreien unter einem Cent. Bei 200 Einträgen war Code Mode 47 % bis 75 % günstiger.

Auch bei der Korrektheit zeigte sich dasselbe Muster. Von 5 auf 200 Einträge sank die Erfolgsquote ohne Code Mode von 92 bis 100 % auf 62 bis 79 %. Mit Code Mode blieb sie bei 200 Einträgen bei 92 bis 100 %.

In den Worten von Pydantic: "Modelle sind viel besser darin, eine Schleife zu schreiben, als eine zu sein, und der Abstand wächst mit der Länge der Aufgabe."

Es liegt nicht an den Roundtrips, und kleine Jobs zahlen drauf

Die übliche Erklärung lautet, dass jeder Tool-Aufruf eine weitere Modellrunde erzwingt, in der der wachsende Kontext erneut gesendet wird. Die Daten von Pydantic deuten in eine andere Richtung. Modelle bündeln ihre Aufrufe bereits, und eine Antwort enthielt 200 Tool-Aufrufe. Bei 200 Einträgen sanken die Modellanfragen, über die acht Modelle gemittelt, je Aufgabe um 1 % bis 22 %. deepseek-v4.1-flash fiel deutlich stärker. Laut dem Artikel reduziert Code Mode vor allem, was in jede einzelne Anfrage hineingeht.

Kleine Jobs profitieren nicht. Bei 5 Einträgen war Code Mode bei drei der fünf Aufgaben teurer, mit Aufschlägen von +21 % bis +38 %. Bei den 50 Alltagsaufgaben lag es insgesamt 16 % günstiger, die Erfolgsquote blieb mit +1,6 Punkten praktisch unverändert, was Pydantic als Rauschen einordnet.

Ein Warenkorb-Beispiel und die Sandbox dahinter

Pydantic geht eine Alltagsaufgabe durch: Alles im Warenkorb entfernen, was pro Stück mehr als 50 Dollar kostet. Der Warenkorb hat 122 Positionen, das Listen-Tool liefert höchstens 50 pro Seite, und das Lösch-Tool nimmt eine einzelne ID. 22 Positionen müssen raus. Ohne Code Mode bedeutet das drei Listenseiten und 22 Löschvorgänge, jeweils vom Modell ausgewählt. Mit Code Mode schreibt das Modell eine Schleife, die die Liste seitenweise durchgeht, nach Preis filtert und die passenden Artikel nebenläufig entfernt. Die 100 günstigeren Positionen liest es nie, und den Preisvergleich übernimmt Python.

Weil der Code von einem Modell stammt, kommt es auf die Laufzeitumgebung an. In Pydantic AI Harness läuft das Programm in Monty, dem in Rust geschriebenen Python-Interpreter von Pydantic. Er startet ohne Zugriff auf Dateien, Umgebung oder Uhr des Hosts und ohne Netzwerk. Zugriffe werden pro Anfrage freigegeben, und der Benchmark nutzte den integrierten OSAccess-Handler, der ein Dateisystem und eine Umgebung im Arbeitsspeicher sowie die Host-Uhr bereitstellt. Standardmäßig erhält jedes run_code-Snippet 30 Sekunden Ausführungszeit und 256 MiB Heap. Eine neue Sandbox braucht laut Pydantic aus einem laufenden Pool weniger als eine Millisekunde. Mit dem Tracing von Pydantic Logfire erscheint jeder Tool-Aufruf des Codes als eigener Span.

Dem stellt Pydantic Prime Agent von Prime Intellect gegenüber, dessen einziges Modell-Tool ein persistenter IPython-Kernel ist. Das ist ein vollständiger Python-Prozess, den der Autor für einen Coding-Assistenten auf dem eigenen Rechner für richtig hält, nicht aber für einen Webserver, der von Nutzer-Prompts gesteuert wird.

Was das für Agenten-Entwickler bedeutet

Die Ergebnisse legen nahe, dass der Nutzen von Code Mode von der Aufgabenlänge abhängt. Für Agenten, die routinemäßig Dutzende oder Hunderte Datensätze durchlaufen, zeigen die Zahlen von Pydantic große Einsparungen bei Kosten und Zeit sowie weniger Fehlschläge. Für Agenten, die überwiegend kurze Anfragen bearbeiten, fielen die Vorteile gering aus, und winzige Jobs können sogar mehr kosten. Der Benchmark stammt von Pydantic selbst, ist intern und testet das eigene Harness. Die Zahlen sind daher Angaben des Unternehmens und keine unabhängigen Ergebnisse.