AWS zeigt, wie sich Multi-Agenten-Systeme auf Nachvollziehbarkeit prüfen lassen

Warum die Bewertung von Agenten mehr braucht als Antwortqualität

Eine zentrale Herausforderung beim Übergang von Multi-Agenten-Systemen vom Experiment in den Produktivbetrieb besteht laut AWS darin, dass sie unter realen Bedingungen hilfreich, korrekt und nachvollziehbar bleiben. Unternehmen setzen solche Systeme für Aufgaben ein, die Datenquellen, Werkzeuge und geschäftliche Vorgaben umspannen, von der Lieferkettenplanung über Finanzanalysen bis zum Kundenservice. Die Systeme koordinieren mehrere spezialisierte Agenten, um Entscheidungen zu treffen, Workflows auszuführen und Empfehlungen zu erzeugen.

AWS argumentiert, dass die klassische Bewertung, die allein die Qualität der Modellantwort betrachtet, für agentische Systeme nicht ausreicht. Die Korrektheit hänge auch von der Werkzeugauswahl, der Ausführung des Workflows und der Einhaltung geschäftlicher Vorgaben ab. Amazon Bedrock AgentCore Evaluations wird als vollständig verwaltete Funktion beschrieben, mit der sich die Leistung von Agenten in Entwicklung und Produktion beurteilen lässt.

Der Beitrag verweist außerdem auf Amazon Bedrock Guardrails, das Schutzmechanismen wie Inhaltsfilter, die Erkennung unzulässiger Themen und die Prüfung der Faktenverankerung (Grounding) bietet. AWS zieht dabei eine klare Linie: Evaluations bewerten die Agentenqualität nach der Ausführung, während Guardrails Sicherheitsvorgaben während der Ausführung durchsetzen.

Ein Supply-Chain-Assistent als Testfall

Um die Konzepte greifbar zu machen, baut AWS sein Beispiel um AnyCompany Retail auf, einen fiktiven multinationalen Händler mit E-Commerce-Kanälen, regionalen Fulfillment-Centern, Distributionszentren und Tausenden stationären Filialen. Das Unternehmen kämpft mit Bestandsungleichgewichten: In manchen Regionen kommt es bei Aktionen zu Lieferengpässen, in anderen zu Überbeständen. Die Transportteams müssen Liefergeschwindigkeit, Frachtführerkapazitäten und Kosten austarieren.

Die Lösung basiert auf dem Strands Agents SDK, dem Amazon Bedrock AgentCore MCP Server und AgentCore Evaluations. Ein Orchestrator-Agent nimmt die Anfrage eines Planers entgegen und delegiert an vier spezialisierte Sub-Agenten, die als Werkzeuge bereitgestellt werden:

• Ein Optimierungsagent, der MCP-Tools aufruft, die auf simulierten Amazon-API-Gateway-REST-Schnittstellen beruhen und Optimierungsentscheidungen zurückgeben.
• Ein Distributionsagent, der Empfehlungs-APIs aufruft, um eine Neuverteilung der Bestände auf Fulfillment-Center, Filialen und digitale Kanäle vorzuschlagen.
• Ein Routingagent, der Logistik-APIs aufruft, um Frachtführer- und Routenoptionen zu empfehlen.
• Ein Analyseagent, der Diagnosefragen zur Lieferkette beantwortet.

Jeder Agent läuft auf der Amazon Bedrock AgentCore Runtime, mit aktiviertem AgentCore Memory und AgentCore Observability; die Agentenschleife nutzt Foundation Models auf Amazon Bedrock.

Drei Ebenen der Bewertung

AWS schlägt einen Dreischichtenansatz vor, der schrittweise das Vertrauen im Unternehmen aufbaut. Die erste Ebene nutzt integrierte Evaluatoren, die keine Einrichtung erfordern. Helpfulness dient als universelle Basis und wird mit einem zweiten Evaluator kombiniert, der auf die Hauptfehlerquelle des jeweiligen Agenten zielt: Tool Selection Accuracy für den Orchestrator, Response Relevance für den Optimierungs- und den Distributionsagenten, Instruction Following für das Routing und Faithfulness für die Analytik.

Die zweite Ebene ergänzt eigene Evaluatoren, die fachspezifische Geschäftsregeln abbilden: Constraint Satisfaction für die Optimierung, Data Grounding für die Distribution, Route Feasibility für das Routing, SQL Correctness für die Analytik und Plan Coherence für die Orchestrierung. Sie prüfen, ob eine Empfehlung Budgetgrenzen eingehalten, reale Bestandsdaten verwendet und ein operativ korrektes Ergebnis geliefert hat. Für den Optimierungsagenten umfassen die Vorgaben Budget, Lagerkapazität und Bestandsabdeckung des Bedarfs von demand ≤ qty ≤ 2× demand. Weitere eigene Prüfungen sind ein KPI-Attainment-Evaluator für die Verbesserung von Fill Rate oder Umsatz, ein Risk-Impact-Evaluator für das Risiko von Fehl- und Überbeständen sowie ein Tool-Trajectory-Evaluator, der testet, ob der Orchestrator an den richtigen Sub-Agenten weitergeleitet hat.

Die dritte Ebene fügt Erklärbarkeits-Evaluatoren für Vertrauen und Nachprüfbarkeit hinzu. Integrierte Evaluatoren bewerten die allgemeine Klarheit der Antwort, während eigene Evaluatoren prüfen, ob Agenten ihre Entscheidungsbegründung ausdrücklich darlegen, auf stützende Daten oder Werkzeugausgaben verweisen und Zielkonflikte wie Kosten gegenüber Servicelevel erläutern.

On-Demand- und Online-Modus

AgentCore Evaluations unterstützt zwei Modi. Der On-Demand-Modus ist für Benchmarking in der Entwicklung, Regressionstests und CI/CD-Gates gedacht. Der Online-Modus dient der kontinuierlichen Überwachung im Produktivbetrieb und für Alarme.

Dieselben eigenen Evaluatoren lassen sich online über ein OnlineEvaluationConfig-Objekt wiederverwenden, das die Amazon Resource Names der Evaluatoren referenziert und eine Abtastrate festlegt, etwa 1 bis 10 % der Produktions-Traces, dazu optionale Sitzungsfilter. Laut AWS liest der Dienst anschließend Traces aus AgentCore Observability, bewertet sie und leitet die Ergebnisse an Amazon-CloudWatch-Dashboards und -Alarme weiter. Der Beitrag selbst verwendet zum Testen der Lösung den On-Demand-Modus.

Was das für Teams bedeutet, die Agenten bauen

Für Teams, die Agenten in den Produktivbetrieb bringen, liefert der Beitrag ein Muster: zunächst mit integrierten Evaluatoren eine schnelle Basis schaffen, dann eigene Evaluatoren ergänzen, die Geschäftsregeln widerspiegeln, und schließlich die Erklärbarkeit bewerten, damit sich Entscheidungen nachprüfen lassen. Da dieselben eigenen Evaluatoren in beiden Modi funktionieren, lassen sich Prüfungen, die vor der Veröffentlichung für Tests geschrieben wurden, auch auf den Live-Verkehr anwenden. Laut AWS können Teams so sowohl die sprachliche Qualität einer Antwort als auch die geschäftliche Gültigkeit der Entscheidung eines Agenten bewerten.