Baseten: Verzögertes Laden von Tools senkt Agentenkosten um 62,5 %

Baseten zufolge senkte die Unterstützung für verzögertes Laden von Tools bei Open Models die Kosten von Coding-Benchmarks um 62,5 % und verkürzte die Aufgabenlaufzeit um 26,2 %, ohne das Modell oder das Harness zu ändern. Das Unternehmen hat die Funktion für DeepSeek, Kimi und GLM in seinen Model APIs ergänzt.
- Baseten hat verzögertes Laden von Tools für DeepSeek, Kimi und GLM in seinen Model APIs ergänzt.
- Coding-Benchmarks waren Baseten zufolge 62,5 % günstiger und 26,2 % schneller.
- Agenten-Benchmarks waren 51,1 % günstiger und 14,9 % schneller.
- Das verzögerte Laden reduzierte den beispielhaften Tool-Kontext von etwa 141k Tokens auf etwa 1,3k Tokens.
- Die Tests umfassten 55 Aufgaben aus 8 Benchmarks mit GLM 5.3.
Verzögertes Laden hält ungenutzte Tools aus dem Prompt heraus
Beim verzögerten Laden von Tools werden Tools erst abgerufen, wenn ein Agent sie benötigt, statt jedes registrierte Tool und dessen Schema vorab zu laden. Baseten beschreibt den Ansatz als progressive Offenlegung für Tools. Er soll den Kontext reduzieren, der bei Anfragen mitgeführt wird, ohne verwendet zu werden.
Beim sofortigen Laden wird die vollständige Tool-Liste jedes registrierten MCP- oder Plugin-Tools bei jeder Anfrage in den System-Prompt aufgenommen. Baseten zufolge fügten die Schemas in einem Beispiel mit den MCP-Servern von Slack, Notion und Baseten dem System-Prompt etwa 141k Tokens hinzu. Das verzögerte Laden reduzierte den anfänglichen Tool-bezogenen Kontext auf etwa 1,3k Tokens, bestehend aus Tool-Namen und einem tool_search-Tool.
Das Modell sucht bei Bedarf nach Tools
In Basetens Implementierung ruft das Modell tool_search auf, wenn es ein Tool benötigt. Der Client gibt daraufhin tool_reference-Blöcke für passende Tools zurück, während der Server das vollständige Schema am Ende des Transkripts platziert, statt den System-Prompt zu ändern.
Baseten zufolge bleibt dadurch der über dem gemeinsamen Präfix aufgebaute Key-Value-Cache erhalten. Im Modus mit sofortigem Laden berücksichtigt jedes generierte Token die gesamte Menge der zwischengespeicherten Tool-Schemas, einschließlich nie verwendeter Tools. Nach Angaben des Unternehmens wird der Kontext in seinem Beispiel dadurch etwa 100-mal größer, während der für die Dekodierung erforderliche Rechenaufwand steigt.
Benchmarks zeigen geringere Kosten bei Coding- und Agentenaufgaben
Baseten wählte 55 Aufgaben aus 8 Benchmarks aus und setzte GLM 5.3 mit und ohne verzögertes Laden von Tools ein. Die Tests liefen ohne grafische Oberfläche in Claude Code. Für die Coding-Benchmarks registrierte das Unternehmen 3 MCPs von Slack, Notion und Baseten.
Baseten berichtet, dass Coding-Aufgaben mit verzögertem Laden im Durchschnitt 62,5 % günstiger und 26,2 % schneller waren. Zur Coding-Gruppe gehörten Terminal-Bench, SWE-bench Verified, SWE-bench Pro v2 und DeepSWE v1.1. In einer separaten Gruppe von Agenten-Benchmarks sanken die Kosten durchschnittlich um 51,1 % und die Aufgabenlaufzeiten um 14,9 %.
Zur Agenten-Gruppe gehörten MCP-Atlas, AutomationBench, ComplexMCP, Toolathlon-GYM und weitere vom Unternehmen aufgeführte Benchmark-Aufgaben. Baseten zufolge schnitt das verzögerte Laden in beiden Gruppen besser ab als das sofortige Laden und hatte nur selten Nachteile. Toolathlon-GYM mit durchschnittlich 68 Tool-Aufrufen war der einzige Benchmark, bei dem das sofortige Laden beim Laden von Tools effizienter war.
Was die Änderung für Nutzer von Open Models bedeutet
Baseten zufolge ist verzögertes Laden von Tools über die API allgemein für Organisationen verfügbar, die kontextbewusste interne Harnesses entwickeln. Das Unternehmen argumentiert, dass die Unterstützung dieses Musters Open Models dabei hilft, ähnlich wie Model APIs zu arbeiten, die verzögertes Laden bereits unterstützen, darunter die APIs von OpenAI und Anthropic.
Für Nutzer, die Coding- oder Agentensysteme mit vielen MCPs betreiben, legen die gemeldeten Ergebnisse nahe, dass das Herauslassen ungenutzter Tool-Schemas aus jeder Anfrage den rechenbedingten Token-Aufwand und die Aufgabenlaufzeit senken kann. Die Einsparungen hängen von der Arbeitslast ab. Baseten berichtet von größeren Vorteilen, wenn Setups viele oder umfangreiche MCPs enthalten und Aufgaben zahlreiche Anfragen erfordern.


