Arize bringt gehosteten MCP-Server für AX: CLI und Skills bleiben trotzdem wichtig

Was der AX-MCP-Server leistet

Laut Arize kann ein Agent, der mit dem neuen Server verbunden ist, die zehn langsamsten Traces eines Projekts abrufen und die Spans auslesen, zwei Experimentläufe vergleichen, um zu sehen, welche Beispiele schlechter abschneiden, die aktuelle Version eines Evaluator-Prompts lesen, prüfen, welche Monitore Alarm schlagen, und ein Dataset-Beispiel nachschlagen. Nutzer müssen dafür weder das Fenster wechseln noch die API lernen oder die CLI installieren.

Der Server wird gehostet, es ist also nichts zu installieren. Nutzer richten ihren Client auf einen von drei regionalen Endpunkten und übergeben ihren Arize-API-Schlüssel als Bearer-Token. In der Beispielkonfiguration von Arize kommt die URL https://api.arize.com/mcp mit einem Authorization-Header zum Einsatz.

Der Server stellt 45 Tools plus server_info bereit, die Projekte, Traces, Datasets, Experimente, Evaluatoren, Monitore und Prompts abdecken. Arize zufolge ist jedes Tool eine benannte Operation mit eigenen Filtern, etwa list_projects, list_traces und get_experiment, und kein generisches Paar aus Suchen und Ausführen. Die Einrichtung für jeden Client ist in der MCP-Dokumentation beschrieben.

MCP ist eine von drei Schnittstellen. Arize bietet außerdem die ax-CLI mit 22 Befehlsgruppen für die gesamte Plattform sowie eine Reihe von Skills, die sich mit ax skills install installieren lassen. Alle drei setzen auf derselben REST-API auf.

Warum das Argument der Kontextsteuer an Gewicht verliert

Der Beitrag von Arize beginnt mit einer Kehrtwende. Chief Product Officer Aparna Dhinakaran hatte zuvor auf X geschrieben: „MCP = context tax. The future is CLI and files.“ Arize erklärt, das sei damals zutreffend gewesen, weil MCP-Tool-Definitionen zu Beginn jeder Sitzung in den Kontext geladen wurden.

Das Unternehmen verweist auf Messungen aus der Community, wonach eine Claude-Code-Sitzung mit fünf bis zehn installierten Servern schon vor der ersten Eingabe 50.000 bis 67.000 Token Overhead verursacht. Ein Setup aus GitHub, Slack, Sentry, Grafana und Splunk kam demnach allein bei den Tool-Definitionen auf rund 55.000 Token. Ein Benchmark ermittelte für MCP pro Operation das 4- bis 32-Fache der Token-Kosten des vergleichbaren CLI-Aufrufs. Eine CLI vermeide das, so Arize, weil sie nur etwa die Befehlszeichenfolge kostet, also einige Dutzend Token, und Modelle Werkzeuge wie git, docker, curl und jq ohnehin kennen.

Geändert haben sich laut Arize die Harnesses. Claude Code, Cursor und Codex nutzen inzwischen Tool Search: Beim Start liegen nur die Namen der verbundenen Server im Kontext, die vollständigen Schemata werden erst geladen, wenn das Modell nach einem Tool sucht. Arize verweist zudem auf den Engineering-Beitrag von Anthropic zur Codeausführung mit MCP, in dem eine Aufgabe von Drive zu Salesforce von rund 150.000 auf 2.000 Token sank, weil der Agent Code gegen MCP-Server schrieb. Da die anfänglichen Kosten weitgehend entfallen, sollte die Wahl zwischen MCP und CLI nach Ansicht von Arize nicht mehr von der Token-Rechnung abhängen.

Wann MCP, CLI oder Skills die richtige Wahl sind

Arize zufolge ist MCP die einzige Option, die Nutzer von Clients wie Claude Desktop, Cursor und Zed nicht in eine Shell zwingt, da diese Clients MCP nativ sprechen. Als Beispiele nennt das Unternehmen einen Produktmanager in Claude Desktop, der fragt, welche Experimente diese Woche bei Halluzinationen schlechter geworden sind, und einen Support-Ingenieur in Cursor, der die letzten zehn fehlgeschlagenen Traces abruft, ohne den Editor zu verlassen.

Das Unternehmen führt auch ein Governance-Argument an. Ein MCP-Server stellt eine feste Menge benannter Operationen bereit, die ein Host einzeln erlauben oder verbieten kann, und das Modell hält nie Roh-Zugangsdaten in seinem Kontext. Arize zitiert einen Vergleich, in dem Agenten mit strukturierten Tool-Manifesten 38 % weniger Aufruffehler machten als Agenten, die frei formulierte Shell-Befehle zusammenstellten. Zudem verweist das Unternehmen darauf, dass Thariq Shihipar von Anthropic im September sagte, MCPs seien für die meisten Integrationen inzwischen besser als CLIs.

Die CLI bleibt die bessere Wahl für skriptgesteuerte Pipelines, verkettete Befehle und nicht interaktive Umgebungen wie CI, Cronjobs, Lambda-Funktionen und Docker-Entrypoints. Arize rät in seinem Framework außerdem: Wenn die Token-Kosten weiterhin ein Problem sind, sollten Nutzer zuerst prüfen, ob Tool Search aktiviert ist, und aufwendige Workflows bei Bedarf auf Codeausführung verlagern. Die meisten Produktionsagenten nutzten beides, so das Unternehmen, und nennt Claude Code, Cursor und Gemini CLI als Beispiele.

Die dritte Ebene sind Skills. Ein Skill besteht aus einer SKILL.md-Datei plus optionalen Skripten und Referenzen und wird geladen, wenn eine Aufgabe passt. Laut Arize kostet er bis zum Aufruf rund 100 Token Kontext, weil beim Start nur Name und Beschreibung geladen werden. Während MCP einem Agenten Zugriff auf ein Live-System verschafft, bringt ein Skill ihm bei, wie er eine Aufgabe mit diesem System erledigt. Der Skill arize-experiment von Arize bildet zum Beispiel einen Workflow ab: ax-Version und Umgebung prüfen, Space und Projekt auflösen, Experimente mit den passenden Flags auflisten und anschließend Läufe vergleichen. Skills bauen laut Unternehmen auf CLI-Befehlen auf.

Was das für AX-Nutzer bedeutet

Für Teams, die bereits Arize AX einsetzen, bedeutet die Neuerung praktisch: Nutzer ohne Terminal und editorbasierte Agenten erreichen Trace-, Experiment- und Monitor-Daten jetzt direkt. Entwickler, die Agenten in Pipelines betreiben, können weiter die CLI nutzen, und Skills ergänzen sie um prozedurales Know-how. Für alle, die selbst gehostete, quelloffene Agenten-Observability bevorzugen, verweist Arize zudem auf Arize Phoenix.