Mintlify: Ein einziger AGENTS.md-Verweis steigert Agenten-Erfolg auf 100 %

Agenten nutzten den ursprünglichen Befehl nicht

Mintlify entwickelte mint instructions, um Coding-Agenten aktuelle Hinweise für die Arbeit mit seiner Dokumentationsplattform zu geben. Im ersten Benchmark bestand Claude Sonnet 16 % der Durchläufe, wenn der Befehl verfügbar war, gegenüber 20 % ohne ihn.

Laut Mintlify lag das Problem nicht in den Anleitungen selbst. Die Agenten führten den Befehl nicht aus. In der ursprünglichen Version wurde mint instructions in mint --help aufgeführt. Dahinter stand die Annahme, dass Agenten bei einer unbekannten Aufgabe die Hilfe aufrufen würden. Stattdessen lasen sie die Aufgabe, untersuchten das Repository und begannen mit den Änderungen.

Mintlify zufolge lesen Agenten vor Beginn der Arbeit die AGENTS.md. Ein einziger Verweis in dieser Datei führte dazu, dass Sonnet in allen 30 von 30 Tests den Befehl vor seiner ersten Änderung ausführte. Auch die Formulierung beeinflusste die Ergebnisse. Eine allgemeine Anweisung führte zu einer Erfolgsrate von 66 %, während die Nennung von Aufgaben wie Automatisierungen und CI, Zugriff und Veröffentlichung sowie KI-Funktionen sie auf 83 % erhöhte. Nach einer Überarbeitung der Hinweise auf Grundlage der Fehler der Agenten stieg die Rate auf 100 %.

Aufgabenspezifische Anleitungen waren einem Dokumentationslink überlegen

Mintlify verglich außerdem einen Verweis auf seine Dokumentation mit einem Verweis auf mint instructions und verwendete dabei denselben Wortlaut in der AGENTS.md. Die Erfolgsrate von Claude Sonnet lag bei 20 % ohne Hinweise, 57 % mit einem Dokumentationsverweis und 100 % mit dem CLI-Verweis. Claude Opus erreichte 28 %, 72 % beziehungsweise 94 %. Claude Haiku kam auf 6 %, 28 % und 89 %, während Codex 36 %, 81 % und 89 % erzielte.

Der CLI-Verweis schnitt bei jedem getesteten Modell besser ab. Laut Mintlify war der Unterschied bei Haiku und Sonnet am größten. Bei Codex war der Abstand von 8 Prozentpunkten dem Unternehmen zufolge klein genug, um als Rauschen zu gelten.

Der Befehl gibt einem Agenten die Schritte für eine einzelne Aufgabe an einem Ort vor, statt ihn dazu zu zwingen, Informationen aus mehreren Seiten zusammenzutragen. Mintlify verschob außerdem häufig übersehene Fakten in overview, das erste Thema in der Liste, und kennzeichnete es mit „Hier starten“. Nach dieser Überarbeitung stieg die Erfolgsrate von Haiku laut Unternehmen von 39 % auf 89 %.

Was Mintlify veröffentlicht hat

mint instructions ist ein neuer Befehl in der Mintlify CLI. Er führt 10 Themen und 10 Unterthemen auf, jeweils mit einer Zeile, die erklärt, wann das Thema verwendet werden sollte. Mit mint instructions <topic> werden Hinweise für eine einzelne Aufgabe angezeigt, etwa mit mint instructions publish domain.

Jedes Thema entspricht einer Dokumentationsseite. Laut Mintlify erreichen Aktualisierungen dieser Seiten Agenten beim nächsten Ausführen des Befehls, ohne dass ein CLI-Release oder eine Neuinstallation des Plugins nötig ist. Die Hinweise lassen sich über das Markdown jeder Dokumentationsseite, llms.txt, skill.md und mint --help entdecken. Die AGENTS.md im Stammverzeichnis des Starter-Repositorys enthält jetzt den Verweis.

In Mintlifys Tests machten Agenten mit dem Befehl pro Durchlauf 0.02 falsche Behauptungen über Mintlify, gegenüber 0.69 ohne den Befehl. Nutzer können mint instructions in einem Mintlify-Projekt ausführen oder npx mint@latest instructions verwenden, wenn der Befehl nicht installiert ist. Mintlify empfiehlt, Agenten vor Aufgaben mit Automatisierungen, CI, Skripten, Zugriff, Veröffentlichung, benutzerdefinierten Domains oder KI-Funktionen anzuweisen, die Hinweise zu prüfen.