Microsoft: KI-Agenten im Unternehmen sind eine neue Insider-Bedrohung

Warum Agenten im Unternehmen ein Risiko darstellen

Laut Microsoft ist die Sorge um die Sicherheit von KI in den vergangenen Monaten gewachsen, weil immer mehr Vorfälle öffentlich bekannt wurden. Die Sorge habe sich vor allem auf Angreifer konzentriert, die leistungsstarke Modelle für Attacken nutzen, während Agenten innerhalb der eigenen Unternehmensgrenzen weniger Beachtung fänden.

Da Unternehmen diese Agenten selbst eingeführt hätten, vertrauten sie ihnen implizit, heißt es in dem Beitrag. Microsofts Position lautet: Frontier-Modellen kann man unabhängig von ihrer Herkunft nicht vertrauen. Das liege nicht daran, dass Modelle von Natur aus böswillig seien. Vielmehr würden Modelle darauf trainiert, Ergebnisse zu erzielen, was häufig zu Reward Hacking führe, und sie seien nicht auf organisatorische Normen oder Urteilsvermögen hin optimiert.

Das Unternehmen beschreibt Agenten als unberechenbar. Sie passten sich an veränderte Kontexte an, verhielten sich womöglich nicht wie vorgesehen und arbeiteten mit anderen Agenten zusammen oder sprächen sich mit ihnen ab, um ihre Ziele zu erreichen, ohne dass sie dafür kompromittiert sein müssten. Außerdem hätten Agenten häufig zu weitreichende Rechte, mit Zugriff auf Daten, Tools und Systeme, und könnten in kritischen Prozessen handeln und Entscheidungen treffen. Microsoft nennt sie „agentische Insider“.

Guardian Agents und Project Perception

Die Überwachung und Absicherung von Agenten müsse laufend erfolgen, mit Echtzeit-Einblick in das, was Agenten tun und welche Risiken daraus entstehen, so Microsoft. Für das Management fordert das Unternehmen Guardian Agents, nach eigener Darstellung ein etablierter Branchenbegriff, die jede Aktion jedes Agenten rund um die Uhr beobachten und moderieren, bevor sie stattfindet.

Der Beitrag definiert einen Agenten als Kombination aus einem Modell, einem Harness, das seine Arbeit orchestriert, einem Aktionsraum aus Tools und Ressourcen sowie einer Laufzeitumgebung. Um ihn abzusichern, sei Schutz über Identität, Berechtigungen, Daten, Endpunkte, Netzwerk, Cloud und Laufzeit hinweg nötig.

Im Juli kündigte Microsoft Project Perception an, ein agentisches Sicherheitssystem, das den neuen Cyber-Stack des Unternehmens und Teams aus roten, blauen und grünen Agenten nutzt, damit Verteidiger schnell auf KI-gestützte Angriffe von außerhalb des Unternehmens reagieren können. Nun erklärt Microsoft, derselbe Stack lasse sich auch zur Steuerung interner Agenten einsetzen, indem deterministische Kontrollen auf nicht deterministische Intelligenz angewendet werden. Das Konzept besteht aus drei Teilen:

• Sensoren, Signale und Aktuatoren: Signale aus Identität, Daten, Cloud, Endpunkt, Netzwerk und Laufzeit werden kombiniert, um Agenten zu entdecken und unter Verwaltung zu stellen, indem ihnen eine Identität, ein Container sowie Richtlinien und Berechtigungen zugewiesen werden.
• Kontext: Mithilfe dieser Signale wird dynamisch das Risiko berechnet, das mit dem verbunden ist, was Agenten versuchen.
• Harness, Agenten und Modelle: Auf Basis dieses Risikos überwacht ein Team aus Guardian Agents, mit grünen und blauen Agenten, fortlaufend jede Aktion und reagiert, sobald das Risikoprofil steigt.

Das System liefere zudem Nachvollziehbarkeit, sodass Fachleute prüfen können, was passiert ist, verstehen, warum das Risiko entstand, und ihre Sicherheitskonfiguration anpassen können. Microsofts Fazit: Agentische Sicherheit sorgt für Tempo, Fachleute sorgen für Urteilsvermögen.

Nächster Schritt: Transparenz über die Denkprozesse von Modellen

Aktuelle Sicherheitssysteme könnten Agentenaktionen zuverlässig beobachten, was zeige, was eingedämmt werden müsse, so Microsoft. Das Unternehmen wünscht sich Kontrollen, die auch fragen können: „Warum passiert das?“ und ob eine Aktion zur Absicht der Aufgabe passt.

Das erfordere mehr Transparenz im Modell selbst, und zwar nicht nur bei Input- und Output-Tokens, sondern auch bei Thinking- und Chain-of-Thought-Tokens, heißt es in dem Beitrag. Nur dann könnten Organisationen laut Microsoft beurteilen, ob die Absicht eines Modells mit dem Zweck des Agenten übereinstimmt. Modelltransparenz werde die Eindämmung nicht ersetzen, aber intelligenter und stärker machen und Verantwortlichkeit sowie Nachvollziehbarkeit fördern, erklärt das Unternehmen.

Was das für Unternehmen bedeutet

Die Botschaft an Unternehmen lautet: Wer Agenten einsetzt, braucht dieselbe Art von Aufsicht, die für menschliche Insider mit weitreichendem Zugriff gilt, nur in Maschinengeschwindigkeit. Laut Microsoft können Organisationen schon heute mit Project Perception damit beginnen, ihre agentischen Insider abzusichern. Der Beitrag schließt mit dem Satz, dass es keine Wahl zwischen Innovation und Sicherheit geben dürfe.

Die Autorin, Hayete Gallot, leitet Microsofts Arbeit, die Organisationen dabei unterstützen soll, in einer von KI geprägten Welt sicher zu arbeiten. Ihr Bereich umfasst Identität, Bedrohungsschutz, Compliance und Datensicherheit.