Microsoft fordert Unternehmen auf, KI-Agenten kontinuierlich zu steuern
Microsoft fordert Unternehmen auf, KI-Agenten nicht länger als isolierte Experimente zu behandeln, sondern sie als fortlaufende betriebliche Disziplin zu managen. Nach Angaben des Unternehmens benötigen Organisationen Produktionssysteme, die Ausgaben, Leistung, Governance und Zuverlässigkeit mit messbaren Geschäftsergebnissen verknüpfen.
- Microsoft zufolge sollten KI-Agenten als kontinuierliche geschäftliche Disziplin gesteuert werden.
- Nur 17 % der Organisationen modellieren laut der zitierten IDC-Studie die Skalierung der Produktionskosten.
- Microsoft empfiehlt, die Kosten pro Ergebnis und nicht nur den Preis pro Token zu verfolgen.
- Microsoft Foundry bietet Planungs-, Überwachungs- und Optimierungskontrollen für Agenten.
- Microsoft empfiehlt das Routing von Modellen über mehr als 11.000 verfügbare Modelle.
Von Pilotprojekten zur Wirtschaftlichkeit im Betrieb
In einem auf den 5. November datierten Blogbeitrag argumentiert Microsoft, die zentrale Herausforderung habe sich vom Nachweis, dass KI funktioniert, hin zur Frage verlagert, ob sie wirtschaftlich skaliert werden kann. Das Unternehmen verweist auf Erkenntnisse aus dem von Microsoft gesponserten IDC InfoBrief Scaling AI Without Scaling Costs, um den Druck auf Organisationen zu verdeutlichen, einen Mehrwert nachzuweisen.
Der zitierten Studie zufolge legen fast 90 % der Organisationen finanzielle Schwellenwerte fest, bevor sie KI-Initiativen genehmigen. Allerdings entwickeln nur 17 % Modelle, um zu prognostizieren, wie sich die Kosten im Produktivbetrieb entwickeln werden, obwohl etwa 78 % bei der Modellauswahl die Kosteneffizienz priorisieren. Die Studie besagt außerdem, dass 86 % innerhalb von sechs bis 24 Monaten finanzielle Ergebnisse erwarten.
Microsoft zufolge bleibt damit ungefähr ein Budgetzyklus, in dem sich der Mehrwert belegen muss. Das Unternehmen empfiehlt, jeden geplanten Agenten anhand von vier Fragen zu bewerten, die sich darum drehen, wie das System finanziert, betrieben, verbessert und sein Nutzen nachgewiesen werden soll.
Vier Kontrollmechanismen für die Kosten von Agenten
Die erste Frage lautet, wie sich Kosten im großen Maßstab prognostizieren und nachverfolgen lassen. Microsoft empfiehlt, die Nutzung auf das Dreifache und das Zehnfache des aktuellen Niveaus hochzurechnen und die Ausgaben anschließend einer Anwendung, einem Team und einem Agenten zuzuordnen. Außerdem rät das Unternehmen, Modelle anhand von Kosten, Qualität und Latenz zu vergleichen und für eine gleichmäßige Nachfrage reservierte Kapazitäten zu nutzen.
Die zweite Frage betrifft die Optimierung der Kosten jeder einzelnen Anfrage. Microsoft zufolge sollten Unternehmen die Kosten pro Ergebnis messen und nicht den Preis pro Token, da ein erfolgreiches Ergebnis ein Dutzend Modellanfragen erfordern kann. Routinemäßige Aufgaben sollten nicht automatisch ein Frontier-Modell verwenden. Evaluierungen sollten zudem bestätigen, dass kostengünstigere Optionen die Qualität aufrechterhalten.
Die dritte Frage betrifft die kontinuierliche Verbesserung. Microsoft identifiziert abgerufene Dokumente, Tool-Definitionen, Anweisungen und den Gesprächsverlauf als mögliche Quellen unnötiger Kosten und schwächerer Antworten. Nach Angaben des Unternehmens können das Abrufen ausschließlich relevanter Passagen, das Kürzen wiederholter Tool-Beschreibungen und das Beibehalten nur wichtiger Informationen aus Gesprächsprotokollen die Ausgaben senken.
Schließlich empfiehlt Microsoft, Ausgaben mit Ergebnissen wie einem gelösten Fall zu verknüpfen. Agenten sollten demnach über Schutzschalter, Evaluierungssuiten, Kosten- und Latenzbudgets, Rücksetzpfade und regelmäßige Überprüfungen verfügen.
Microsoft Foundry als Betriebsplattform
Microsoft präsentiert Microsoft Foundry als Plattformschnittstelle, die diese Kontrollen organisationsweit wiederholbar machen soll. Das Unternehmen beschreibt Foundry als Unternehmensplattform zum Entwickeln, Erden und Steuern von KI-Anwendungen und -Agenten, mit Sicherheits-, Compliance- und Richtlinienkontrollen über den gesamten Lebenszyklus eines Agenten hinweg.
Microsoft empfiehlt das Routing von Modellen über die mehr als 11.000 in Microsoft Foundry verfügbaren Modelle sowie Microsoft IQ, um die Relevanz zu erhöhen und Kosten zu senken. Der vorgeschlagene Betriebszyklus besteht aus drei Teilen: Plan, um Modelle und Kapazitätsoptionen zu vergleichen; Control, um Kosten gemeinsam mit Qualität, Latenz und Sicherheit zu überwachen; und Optimize, um Anfragen an ein geeignetes Modell weiterzuleiten, Kontext und Abrufe zentral bereitzustellen sowie Qualitätsrückgänge zu erkennen.
Für Nutzer und KI-Verantwortliche lautet die Botschaft, dass die Skalierung von einem Agenten auf 20 nicht jedes Mal einen vollständigen Neuaufbau der Kostenkontrolle und Governance erfordern sollte. Microsoft zufolge können Belege auf Plattformebene Finanzierungsentscheidungen unterstützen. Gemeinsame Kontrollen geben Teams zugleich praktische Möglichkeiten, Agenten zu optimieren oder stillzulegen, sobald ihre Wirtschaftlichkeit klarer wird.
Microsoft Azure: Stop treating agents as one-off projects and start running them as a continuous discipline
