AWS stellt UAEF zur frameworkübergreifenden Bewertung von KI-Agenten vor
AWS hat das Universal Agent Evaluation Framework, kurz UAEF, vorgestellt. Das System soll KI-Agenten über verschiedene Frameworks und Laufzeitumgebungen hinweg einheitlich bewerten. Dazu wandelt das Framework Agenten-Traces in ein gemeinsames Format um, bewertet sie mit 36 integrierten Metriken und speichert die Ergebnisse zum Vergleich verschiedener Agentenversionen.
- UAEF wandelt Traces aus verschiedenen Agenten-Frameworks in einen einheitlichen kanonischen AgentTrace um.
- Es bietet 36 integrierte Metriken in sieben Qualitätsdimensionen.
- Die Ergebnisse werden in Amazon DynamoDB und Amazon S3 gespeichert und können verglichen werden.
- Kunden aus 12 Organisationen nutzten UAEF vor der Veröffentlichung von Agentenversionen.
Eine Bewertungsebene für verschiedene Agenten-Frameworks
Teams, die Agenten auf AWS entwickeln, können Frameworks wie LangGraph, LangChain, Strands Agents und Amazon Bedrock AgentCore verwenden. Da jedes Framework Nachrichten, Tool-Aufrufe und Übergaben unterschiedlich protokolliert, kann ein auf das Trace-Format eines einzelnen Frameworks zugeschnittenes Bewertungssystem umfangreiche Anpassungen erfordern, wenn Teams das Framework wechseln oder mehrere Frameworks nutzen.
UAEF begegnet diesem Problem mit Adaptern. Ein Adapter liest den nativen Ausführungsdatensatz eines Agenten und wandelt ihn in ein kanonisches Format namens AgentTrace um. UAEF wendet anschließend unabhängig vom unterstützten Framework, das den Trace erzeugt hat, denselben Bewertungs- und Berichtsprozess an.
Das System kann mit vorhandenen Traces aus früheren Durchläufen, Logs oder Observability-Speichern arbeiten. Außerdem kann es einen Agenten über einen Amazon Resource Name einer Laufzeitumgebung oder einen HTTP-Endpunkt aufrufen, ihn mit Datensatzeingaben ausführen, die Antwort erfassen und das Ergebnis anpassen. Laut AWS kann UAEF lokal, hinter einem HTTP-Endpunkt oder auf einer verwalteten Laufzeitumgebung wie Amazon Bedrock AgentCore ausgeführt werden, mit Traces in Langfuse oder ohne erfasste Traces.
36 Metriken in sieben Dimensionen
UAEF bewertet Agenten in sieben Qualitätsdimensionen: Tool-Aufrufe, Antwortqualität, verantwortungsvolle KI, Leistung, Mehrfachturn-Konversationen, Koordination mehrerer Agenten und Schlussfolgerungen. Diese Bereiche erfassen, ob ein Agent Tools korrekt auswählt und verwendet, relevante und fundierte Antworten liefert, Sicherheitsaspekte berücksichtigt, die operative Leistung steuert, den Kontext beibehält, Aufgaben koordiniert und eine konsistente Logik aufrechterhält.
Jede Dimension nutzt eine oder mehrere der 36 integrierten Metriken. Jede Metrik liefert einen normalisierten Wert zwischen [0, 1], wobei 1 das beste Ergebnis darstellt. Datensätze können Antworten mit Ground Truth enthalten, dies ist jedoch optional. Für die Bewertung von Tool-Aufrufen muss die Ground Truth außerdem die erwarteten Tools, deren Reihenfolge und ihre Argumente angeben.
Zu den Metriken gehören deterministische Messwerte, die sich bei wiederholten Durchläufen exakt reproduzieren lassen, sowie Metriken, bei denen ein Large Language Model Eigenschaften wie Relevanz und Sicherheit bewertet. Laut AWS können Teams eigene Metriken hinzufügen oder Integrationen mit RAGAS und DeepEval nutzen. Bewertungsinhalte werden als nicht vertrauenswürdige Eingaben behandelt. Ein Ergebnis wird abgelehnt, wenn sich die erforderlichen Belege nicht wörtlich im bewerteten Inhalt finden.
Gespeicherte Experimente ermöglichen Versionsvergleiche
Wenn ein Team eine Bewertung dauerhaft speichert, legt UAEF sie als Experiment in Amazon DynamoDB und Amazon Simple Storage Service, auch Amazon S3 genannt, ab. DynamoDB speichert Metadaten des Experiments für Auflistungen und Vergleiche, darunter die Anzahl der Bewertungen, den Durchschnittswert je Metrik und den Gesamtdurchschnitt. S3 speichert die vollständigen Ergebnisse als JSON-Datei, einschließlich der Werte für die einzelnen Metriken und der Begründung des Bewertungsmodells.
Ein Experiment kann mehrere Durchläufe enthalten. Für jeden Durchlauf lassen sich Framework, Modell, Tools, System-Prompt, Parameter, ein Konfigurations-Snapshot und ein Git-Commit erfassen. Teams können eine Baseline festlegen und spätere Versionen mit ihr vergleichen. So lassen sich Regressionen oder Verbesserungen erkennen, die auf Änderungen an einem Prompt, Modell oder Tools zurückgehen. Laut AWS haben Kunden aus 12 Organisationen in den Branchen Telekommunikation, Gesundheitswesen und Finanzdienstleistungen UAEF genutzt, um Agenten zu bewerten und Versionen vor der Veröffentlichung zu vergleichen.
Für Nutzer, die Agenten auf AWS entwickeln, liegt die Bedeutung des Systems in seiner gemeinsamen Bewertungsebene. Anstatt Metriken und historische Ergebnisse an ein einzelnes Framework zu binden, können Teams einen gemeinsamen Trace, konsistente Bewertungen und gespeicherte Experimente nutzen, um den nächsten Entwicklungszyklus zu steuern.
