MLCommons veröffentlicht Taxonomie mit fünf Datenschutzrisiken speziell für KI-Agenten

Warum Agenten ein eigenes Datenschutz-Framework brauchen

Die Taxonomie stammt von der Privacy and Confidentiality Working Group, die zur Initiative MLCommons AI Risk & Reliability (AIRR) gehört. AIRR geht von der Idee aus, dass Teams zunächst das gewünschte Verhalten eines KI-Systems definieren und anschließend messen sollten, wie zuverlässig es dieses Verhalten zeigt. Laut MLCommons brauchen Betreiber solche Messungen, um sowohl Risiken als auch Kosten zu steuern.

Im April veröffentlichte die Gruppe die AI Reliability Map. Sie legt fest, welche Regeln ein System einhalten sollte: Funktionalität, Datenschutz, Produktsicherheit, Frontier-Sicherheit und psychosoziale Grenzen. Außerdem benennt sie die Bedingungen, unter denen getestet wird, nämlich im Normalbetrieb und unter Angriff. Die Datenschutzgruppe konzentriert sich nun darauf, wie sich bewerten lässt, wie ein Agent mit personenbezogenen Daten umgeht.

MLCommons argumentiert, dass sich mit Agenten der Umfang des Risikos verändert. Bei einem Chatbot, der für sich allein arbeitet, beschränken sich die Datenschutzrisiken nach Darstellung der Gruppe weitgehend auf den einzelnen Nutzer, der mit ihm interagiert. Bei einem Agenten sei das mögliche Ausmaß enorm. Bevor sich etwas messen lasse, müsse sich die Community darauf verständigen, welche Datenschutzrisiken agentenspezifisch sind. Die Taxonomie stützt sich auf Expertise aus Industrie, Wissenschaft und Zivilgesellschaft sowie auf bekannte Datenschutz- und Sicherheitsvorfälle und bestehende Risikomanagement-Frameworks.

Die fünf Risikobereiche

• Datenerfassung und -verarbeitung. Agenten beobachten fortlaufend im Hintergrund, protokollieren jeden Schritt und tragen Erinnerungen über Sitzungen hinweg mit sich. Dadurch halten sie routinemäßig mehr Daten vor, als eine Aufgabe erfordert. Das Schwärzen von Namen und Kontonummern hilft wenig, wenn Freitext Hinweise liefert, die eine Re-Identifizierung ermöglichen.
• Aggregation, Nutzung und Weitergabe. Einzeln harmlose Datenfragmente können zusammen sensibel werden. Agenten können ohne Autorisierung Inhalte weitergeben oder löschen, sind auf Drittanbieter-Tools angewiesen, für die sie nicht bürgen können, und können spontan Code schreiben und ausführen. Zudem kann ein Modell Fragmente personenbezogener Daten aus Trainingsdatensätzen memorieren, für die Nutzer ihre Einwilligung gegeben haben.
• Uneinheitliche Datenschutzpraktiken zwischen Agenten. Ein Agent arbeitet womöglich nach einer Richtlinie und übergibt an einen anderen Agenten, für den eine andere gilt. Kontext kann in Logs durchsickern, und nachgelagerte Agenten erhalten häufig keine Löschungen, Berichtigungen oder widerrufenen Einwilligungen.
• Versagen statischer Einwilligungsmodelle bei agentischem Verhalten zur Laufzeit. Die Einwilligung funktioniert als einmalige Schranke, doch Agenten entscheiden zur Laufzeit. Entweder leitet der Agent die Erwartungen des Nutzers selbst ab und liegt womöglich falsch, oder er fragt jedes Mal nach, und Nutzer klicken ungelesen auf „Ja“. Da Agenten ihre Denkweise nicht vollständig offenlegen, können Nutzer oft nicht erkennen, wozu sie zugestimmt haben.
• Rechenschaftspflicht und Governance. Es ist schwierig festzustellen, ob Nutzer, Prompt, Modell, Tool oder ein anderer Agent einen Fehler verursacht hat. Laut MLCommons gibt es keinen Standard, um Agenteninteraktionen organisationsübergreifend datenschutzfreundlich zu protokollieren, und bestehende Logs und Speicher für Erinnerungen werden zu wertvollen Zielen für Hacker.

Wie es weitergeht

Version 0.1 gewichtet die Risiken nicht. MLCommons weist darauf hin, dass Fähigkeiten und Kontext eine Rolle spielen: Ein Kundenservice-Agent einer Bank und ein persönlicher Assistent mit Zugriff auf ein Postfach sind unterschiedlichen Risiken in unterschiedlicher Reihenfolge ausgesetzt. Als Nächstes will die Gruppe gemeinsam mit Betreibern ermitteln, welche Risiken bei welchen Einsatzformen am wichtigsten und welche am universellsten sind. Geplant sind mehrere Gesprächsrunden mit großen Betreibern in Abstimmung mit AIRR-Kollegen. Anschließend sollen Indikatoren für diese Risiken bestimmt, zentrale Benchmarks pilotiert und bewährte Verfahren zur Risikominderung entwickelt werden. Abgeschlossen sein soll das bis zum ersten Quartal 2027, während die Taxonomie weiter überarbeitet wird.

Manche Risiken lassen sich schon vor dem Einsatz testen, etwa ob ein Agent mehr Daten abruft, als eine Aufgabe braucht, oder ob er einen Löschantrag an nachgelagerte Stellen weiterreicht. Andere, vor allem im Bereich Rechenschaftspflicht und Governance, betreffen die Organisation rund um den Agenten und lassen sich daher nicht mit einem Benchmark erfassen. Diese Unterscheidung zu treffen, gehöre zur Aufgabe, so MLCommons.

Was das für Betreiber bedeutet und wie man mitmachen kann

MLCommons ruft Industriepartner dazu auf, die Taxonomie in Entwicklung und Betrieb von KI zu integrieren, vom Pretraining bis zum Monitoring im Einsatz. Die Gruppe erklärt, diese Arbeit helfe, Datenschutzverletzungen und -risiken zu verringern, Datenschutz und Sicherheit zu verbessern, mögliche Haftungsrisiken zu senken und Schäden für Einzelne und Organisationen zu reduzieren. Das erklärte Ziel sind Messinstrumente, die Betreibern zeigen, wie ihre Agenten insgesamt und in den für ihren Kontext wichtigsten Bereichen abschneiden.

Die Gruppe bittet Praktiker aus der Industrie, Forschende, Organisationen der Zivilgesellschaft und Regulierungsbehörden um Rückmeldungen und rechnet damit, dass sich Version 0.1 noch ändern wird. Die Privacy Working Group trifft sich jeden zweiten Donnerstag von 11:30 bis 12:30 Uhr ET, Interessierte können sich als Mitglieder registrieren und mitarbeiten.