Microsoft veröffentlicht Playbook, damit KI-Coding-Agenten Technologien richtig einsetzen

Warum Agenten Ihre Technologie falsch einsetzen

Laut Microsoft liefert ein Coding-Agent oft Code, der vernünftig aussieht und sich vielleicht sogar kompilieren lässt, wenn man ihn bittet, etwas mit einem Produkt zu bauen. Bei genauerem Hinsehen kann er jedoch die falsche SDK-Version, ein veraltetes Authentifizierungsmuster oder ein Setup enthalten, das im Produktteam niemand empfehlen würde. Microsoft betont, das sei kein zufälliger Fehler: Der Agent habe getan, was ihm seine Trainingsdaten vorgaben.

Das Unternehmen argumentiert, Entwickler überließen es zunehmend Agenten, SDK, Version und Muster auszuwählen, und beurteilten eine Technologie dann anhand des Ergebnisses. Auf bessere Modelle zu warten sei keine Strategie, schreibt Microsoft, denn ein Knowledge Cutoff „sagt wenig darüber aus, was ein Modell über Ihr Produkt weiß“. Verändern können Teams dagegen die Quellen, auf die sich Agenten stützen: Dokumentation, MCP-Tools, Skills, Plugins, Anweisungen, CLIs und APIs. Die Schwierigkeit besteht laut dem Beitrag darin, zu erkennen, welche Änderung tatsächlich hilft.

Was das Playbook abdeckt

Seit Herbst 2025 misst das DevRel-Team von Microsoft, wie Agenten mit Azure, Cosmos DB, dem SharePoint Framework (SPFx) und Erweiterungen für Microsoft 365 Copilot zurechtkommen. Dabei kommen Prompts zum Einsatz, die denen echter Entwickler ähneln. Die Ergebnisse wurden bereits in der Artikelserie Agent Experience vorgestellt. Das Playbook fasst sie zu einer durchgängigen Methode zusammen, die andere auf ihre eigene Technologie anwenden können.

• Belastbare Ergebnisse: Laut Microsoft können Evaluierungen in die Irre führen. Das Unternehmen berichtet von Bestnoten für Code, der nie kompiliert wurde, und von einer Prüfung „nutzt Platform X“, die unabhängig davon bestanden wurde, ob der Agent Platform X tatsächlich verwendete. Das Evaluierungsmodell beschreibt, was ein Ergebnis braucht, bevor man ihm vertrauen kann, von Kriterien, die Bedeutung beurteilen, bis zu Gates, die belegen, dass der Code läuft.
• Kriterien, die das Wesentliche messen: Das Playbook zeigt, wie sich Kriterien formulieren lassen, über die ein Judge konsistent entscheidet, wie man sie kalibriert und wie man sie versioniert, wenn sich ein Produkt ändert. Es warnt zudem vor Fallstricken, etwa davor, die Kriterien von einem Modell schreiben zu lassen.
• Vom Symptom zur Ursache: Ein Readout zeigt, was fehlgeschlagen ist, die Trajektorie zeigt, warum. Das Playbook hilft dabei, drei Fälle zu unterscheiden: eine Erweiterung, die nie geladen wurde, eine, die geladen, aber nie aufgerufen wurde, und eine, die aufgerufen, aber falsch angewendet wurde. Neun Fehlermuster, die sich über die von Microsoft untersuchten Technologien hinweg wiederholen, weisen jeweils auf die Stelle, die zuerst zu prüfen ist.
• Fixes, die ausgeliefert werden: Das Playbook erklärt, wie man eine vorgeschlagene Änderung vor der Auslieferung als Hypothese testet und wie man dem zuständigen Team Belege vorlegt, ob intern, bei einem engen Partner oder in einem Open-Source-Projekt.

Microsoft zufolge beruht jeder Schritt auf Szenarien, die mit Cosmos DB, SPFx und anderen Technologien durchgespielt wurden. Diese Evaluierungen führten zu Dutzenden ausgelieferten Korrekturen an Dokumentation und Agent-Erweiterungen, darunter 46 Verbesserungen am Azure Cosmos DB Agent Kit. Das SPFx-Projekt-Upgrade wird durchgängig durchgespielt, und eine Qualitäts-Checkliste hilft dabei, eine Evaluierung vor der Ausführung zu prüfen.

Der AX-Practitioner-Skill

Neben dem PDF hat Microsoft den AX-Practitioner-Skill veröffentlicht. Entwickler installieren ihn in ihrem Coding-Agenten und stellen Fragen, während sie an ihrer eigenen Evaluierung arbeiten, etwa wie sie ein Kriterium formulieren sollen oder warum der Agent eine Erweiterung ignoriert hat. Der Skill kann außerdem Szenarien und Kriterien anhand der Standards des Playbooks prüfen.

Der Skill antwortet ausschließlich auf Grundlage des Playbooks. Geht eine Frage darüber hinaus, weist er darauf hin und fragt nach, bevor er eine andere Quelle heranzieht. Microsoft berichtet, dass die Antworten des Skills bei 330 Fragen im Schnitt 95 Prozent Übereinstimmung mit den Aussagen des Playbooks erzielten.

Für wen es gedacht ist und was es bedeutet

Das Playbook richtet sich an alle, die Technologien oder Erweiterungen entwickeln, die KI-Coding-Agenten nutzen: SDKs, APIs, Dienste, CLIs, MCP-Server, Skills, Plugins, Anweisungssätze oder die zugehörige Dokumentation. Wer eine Technologie eher fördert als besitzt, kann Szenariowissen und Belege beisteuern, die dem verantwortlichen Team helfen zu entscheiden, was geändert werden soll.

Die Methode hängt nicht von einem bestimmten Evaluierungssystem ab. Teams können ein selbst gebautes oder ein bestehendes System verwenden, das Playbook listet die Fähigkeiten auf, auf die es ankommt. Für Produktteams lautet die Botschaft von Microsoft, dass sich das Verhalten von Agenten messen und über die Quellen beeinflussen lässt, die Agenten lesen. Das Playbook ist unter aka.ms/ax-playbook verfügbar. Der Beitrag stammt von Waldek Mastykarz, Principal Developer Advocate bei Microsoft.