Warum agentische KI-Systeme jedes Mal andere Ergebnisse liefern können
Agentische KI-Anwendungen können auf dieselbe Anfrage unterschiedliche Ergebnisse liefern. Gründe sind die Modellinferenz, sich verändernde Komponenten und die Art, wie Multi-Agenten-Systeme ihren Kontext zusammenstellen. Ein neuer Beitrag der LF AI & Data Foundation untersucht das Spannungsfeld zwischen Reproduzierbarkeit und Flexibilität in diesen Systemen.
- Das Verhalten agentischer KI reicht von deterministisch bis hochgradig nichtdeterministisch.
- Sampling und nicht batch-invariante Inferenz-Kernel können die Modellausgaben verändern.
- Aktualisierungen von Modellen, Tools, Gedächtnis und Schutzmechanismen können das Anwendungsverhalten beeinflussen.
- Die Ausführungsreihenfolge von Multi-Agenten-Systemen und die Kontextsynthese können die endgültigen Antworten verändern.
- Reproduzierbarkeit erfordert eine Bewertung der gesamten Ausführungsumgebung der Anwendung.
Ein Spektrum von vorhersehbar bis adaptiv
Der Beitrag wurde vom Exploration Workstream der Generative AI Commons entwickelt, einer Arbeitsgruppe innerhalb von LF AI & Data. Ziel ist es, Entwicklungen jenseits des derzeit etablierten Mainstreams zu untersuchen und die LF-AI-&-Data-Community über Themen zu informieren, die sie für künftige Arbeiten in Betracht ziehen könnte.
Er beschreibt agentische KI-Systeme als Anwendungen, die komplexe, mehrstufige Problemlösungen durchführen, in Echtzeit auf Tools zugreifen und kontextbezogene Informationen aus dem Gedächtnis verwenden können. Ihr Verhalten kann von vollständig deterministisch bis hochgradig nichtdeterministisch reichen.
Deterministisches Verhalten ist vorzuziehen, wenn ein autonomer Prozess kontrolliert und reproduziert werden muss. Nichtdeterministisches Verhalten kann dagegen Flexibilität oder eine schnellere Ausführung ermöglichen, wenn ein Problem für eine praktikable deterministische Lösung zu groß ist. Ein KI-Chatbot in Echtzeit kann beispielsweise auf dieselbe Frage leicht unterschiedliche Antworten geben. Diese Anpassungsfähigkeit kann für Produktempfehlungen, Nutzerfragen und die Zusammenfassung von Inhalten geeignet sein, während Terminplanung im Gesundheitswesen, rechtliche Offenlegungen und Finanzinformationen hochgradig deterministische und reproduzierbare Abläufe erfordern.
Warum die Modellinferenz eine Antwort verändern kann
Eine Ursache für Abweichungen ist das zugrunde liegende Sprachmodell und dessen Inferenzprozess. Bei der Ausgabe eines Sprachmodells kommt Sampling zum Einsatz: Vorhersagen werden in eine Wahrscheinlichkeitsverteilung umgewandelt und das nächste Token wird ausgewählt. Sampling-Techniken können Zufälligkeit einführen, um Wiederholungen während der Generierung zu reduzieren.
Der Beitrag verweist außerdem auf die fehlende Assoziativität von Gleitkommaoperationen in der digitalen Datenverarbeitung. Obwohl die Aktionen beim Forward Pass der meisten Sprachmodelle deterministisch sind, kann die Token-Generierung in vielen Open-Source-Inferenz-Engines von den bei Forward Passes verwendeten Batch-Größen abhängen. Daher führen selbst theoretisch deterministische Sampling-Einstellungen in der Praxis nicht zwangsläufig zu deterministischen APIs für große Sprachmodelle, wenn die zugrunde liegenden Kernels nicht batch-invariant sind.
Laut dem Beitrag sind für verschiedene Open-Source-Inferenz-Engines batch-invariante Kernel verfügbar, sie können jedoch die Inferenzlatenz erhöhen. Dieser Zielkonflikt könnte erklären, warum deterministisches Verhalten nicht immer der Standard ist.
Veränderliche Tools und der Kontext von Multi-Agenten-Systemen
Auch agentische Komponenten können sich im Laufe der Zeit weiterentwickeln. Coding-Assistenten können neuere Versionen ihrer zugrunde liegenden Modelle erhalten, während Agenten Zugriff auf aktualisierte Tools, Gedächtnisfunktionen oder Schutzmechanismen bekommen können. Versionierte Rollouts von Model Context Protocol-Servern können den von Unternehmensagenten verwendeten Kontext und ihre Antworten verändern, selbst wenn diese Änderungen für Endnutzer nicht sichtbar sind.
Multi-Agenten-Systeme bringen eine weitere Komplexitätsebene hinzu. Sie koordinieren spezialisierte Komponenten, wobei das Context Engineering bestimmt, was jeder Subagent erhält und wie Antworten zusammengeführt werden. Die Reihenfolge, in der Subagenten ausgeführt werden, Strategien zur Parallelisierung und die Synthese des Kontexts können das Endergebnis beeinflussen.
Eine vorübergehende Netzwerkverzögerung bei einem Subagenten kann den an den nächsten Inferenzschritt übergebenen Kontext verändern. Laut dem Beitrag kann dies zu einem anderen Verhalten der Anwendung führen, selbst wenn die Antworten der Tools unverändert bleiben.
Was das für die Entwicklung von KI-Anwendungen bedeutet
Die LF AI & Data Foundation argumentiert, dass Reproduzierbarkeit eine eingehendere Bewertung über alle Ebenen einer agentischen Anwendung hinweg sowie anpassbare Systemkonfigurationen erfordert. Die Frage geht daher über die Wahl von Sampling-Parametern hinaus. Teams müssen auch Inferenz-Kernel, Aktualisierungen von Modellen und Tools, Gedächtnis, Schutzmechanismen, Orchestrierung und Kontextdesign berücksichtigen.
Bei Anwendungen, deren Ausgaben kontrolliert und reproduziert werden müssen, stellen diese Abhängigkeiten technische Aspekte dar, die in der gesamten agentischen Laufzeitumgebung berücksichtigt werden müssen. Bei weniger stark regulierten Anwendungen kann die Abweichung ein beabsichtigtes Merkmal sein, das adaptive Antworten unterstützt.
LF AI & Data Foundation: Nondeterminism in Agentic AI applications
