Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Baseten: Verzögertes Laden von Tools senkt Agentenkosten um 62,5 %

19. November 2026, 18:49Von der KI Nachrichten RedaktionQuelle: Baseten
Baseten: Verzögertes Laden von Tools senkt Agentenkosten um 62,5 %
Bild: Baseten

Baseten zufolge senkte die Unterstützung für verzögertes Laden von Tools bei Open Models die Kosten von Coding-Benchmarks um 62,5 % und verkürzte die Aufgabenlaufzeit um 26,2 %, ohne das Modell oder das Harness zu ändern. Das Unternehmen hat die Funktion für DeepSeek, Kimi und GLM in seinen Model APIs ergänzt.

Das Wichtigste in Kürze
  • Baseten hat verzögertes Laden von Tools für DeepSeek, Kimi und GLM in seinen Model APIs ergänzt.
  • Coding-Benchmarks waren Baseten zufolge 62,5 % günstiger und 26,2 % schneller.
  • Agenten-Benchmarks waren 51,1 % günstiger und 14,9 % schneller.
  • Das verzögerte Laden reduzierte den beispielhaften Tool-Kontext von etwa 141k Tokens auf etwa 1,3k Tokens.
  • Die Tests umfassten 55 Aufgaben aus 8 Benchmarks mit GLM 5.3.

Verzögertes Laden hält ungenutzte Tools aus dem Prompt heraus

Beim verzögerten Laden von Tools werden Tools erst abgerufen, wenn ein Agent sie benötigt, statt jedes registrierte Tool und dessen Schema vorab zu laden. Baseten beschreibt den Ansatz als progressive Offenlegung für Tools. Er soll den Kontext reduzieren, der bei Anfragen mitgeführt wird, ohne verwendet zu werden.

Beim sofortigen Laden wird die vollständige Tool-Liste jedes registrierten MCP- oder Plugin-Tools bei jeder Anfrage in den System-Prompt aufgenommen. Baseten zufolge fügten die Schemas in einem Beispiel mit den MCP-Servern von Slack, Notion und Baseten dem System-Prompt etwa 141k Tokens hinzu. Das verzögerte Laden reduzierte den anfänglichen Tool-bezogenen Kontext auf etwa 1,3k Tokens, bestehend aus Tool-Namen und einem tool_search-Tool.

Das Modell sucht bei Bedarf nach Tools

In Basetens Implementierung ruft das Modell tool_search auf, wenn es ein Tool benötigt. Der Client gibt daraufhin tool_reference-Blöcke für passende Tools zurück, während der Server das vollständige Schema am Ende des Transkripts platziert, statt den System-Prompt zu ändern.

Baseten zufolge bleibt dadurch der über dem gemeinsamen Präfix aufgebaute Key-Value-Cache erhalten. Im Modus mit sofortigem Laden berücksichtigt jedes generierte Token die gesamte Menge der zwischengespeicherten Tool-Schemas, einschließlich nie verwendeter Tools. Nach Angaben des Unternehmens wird der Kontext in seinem Beispiel dadurch etwa 100-mal größer, während der für die Dekodierung erforderliche Rechenaufwand steigt.

Benchmarks zeigen geringere Kosten bei Coding- und Agentenaufgaben

Baseten wählte 55 Aufgaben aus 8 Benchmarks aus und setzte GLM 5.3 mit und ohne verzögertes Laden von Tools ein. Die Tests liefen ohne grafische Oberfläche in Claude Code. Für die Coding-Benchmarks registrierte das Unternehmen 3 MCPs von Slack, Notion und Baseten.

Baseten berichtet, dass Coding-Aufgaben mit verzögertem Laden im Durchschnitt 62,5 % günstiger und 26,2 % schneller waren. Zur Coding-Gruppe gehörten Terminal-Bench, SWE-bench Verified, SWE-bench Pro v2 und DeepSWE v1.1. In einer separaten Gruppe von Agenten-Benchmarks sanken die Kosten durchschnittlich um 51,1 % und die Aufgabenlaufzeiten um 14,9 %.

Zur Agenten-Gruppe gehörten MCP-Atlas, AutomationBench, ComplexMCP, Toolathlon-GYM und weitere vom Unternehmen aufgeführte Benchmark-Aufgaben. Baseten zufolge schnitt das verzögerte Laden in beiden Gruppen besser ab als das sofortige Laden und hatte nur selten Nachteile. Toolathlon-GYM mit durchschnittlich 68 Tool-Aufrufen war der einzige Benchmark, bei dem das sofortige Laden beim Laden von Tools effizienter war.

Was die Änderung für Nutzer von Open Models bedeutet

Baseten zufolge ist verzögertes Laden von Tools über die API allgemein für Organisationen verfügbar, die kontextbewusste interne Harnesses entwickeln. Das Unternehmen argumentiert, dass die Unterstützung dieses Musters Open Models dabei hilft, ähnlich wie Model APIs zu arbeiten, die verzögertes Laden bereits unterstützen, darunter die APIs von OpenAI und Anthropic.

Für Nutzer, die Coding- oder Agentensysteme mit vielen MCPs betreiben, legen die gemeldeten Ergebnisse nahe, dass das Herauslassen ungenutzter Tool-Schemas aus jeder Anfrage den rechenbedingten Token-Aufwand und die Aufgabenlaufzeit senken kann. Die Einsparungen hängen von der Arbeitslast ab. Baseten berichtet von größeren Vorteilen, wenn Setups viele oder umfangreiche MCPs enthalten und Aufgaben zahlreiche Anfragen erfordern.

Ähnliche Meldungen

GitLab verbindet Coding-Agenten mit automatisierten Review-, CI- und Sicherheits-Workflows
Produkte und Tools19. November 2026

GitLab verbindet Coding-Agenten mit automatisierten Review-, CI- und Sicherheits-Workflows

GitLab führt eine Konfiguration ein, die Coding-Agenten wie Claude Code, Codex, Cursor, Devin und OpenCode mit GitLab-Duo-Workflows für Code-Reviews, die Reparatur…

LangChain ergänzt agentenübergreifendes Tracking zur Kontrolle der Programmierkosten
Für Entwickler18. November 2026, 20:33

LangChain ergänzt agentenübergreifendes Tracking zur Kontrolle der Programmierkosten

LangChain erweitert LangSmith, um Teams einen gemeinsamen Überblick über Ausgaben und Aktivitäten mehrerer Coding-Agenten zu geben. Nach Angaben des Unternehmens können…

LangSmith verknüpft Ausgaben für Coding-Agenten mit Pull-Request-Ergebnissen
Produkte und Tools18. November 2026, 16:00

LangSmith verknüpft Ausgaben für Coding-Agenten mit Pull-Request-Ergebnissen

LangChain hat die Berichterstattung zu Coding-Agenten in LangSmith erweitert und verknüpft Ausgaben mit GitHub-Pull-Requests und GitLab-Merge-Requests. Nach Angaben des…