KI-Ethik-Brief: Verbraucher-Agenten verlagern Entscheidungen weg von den Nutzern

Agenten, die im Namen einer Person handeln

Nach Angaben des Montreal AI Ethics Institute (MAIEI) hat Meta Muse am 8. September in den USA gestartet. Der Agent arbeitet über verbundene Dienste hinweg, verschickt E-Mails, bucht Reisen, verhandelt Rechnungen und tätigt Einkäufe. Zehn Tage später folgte der Start in Kanada. Am 29. September stellte OpenAI dots vor, beschrieben als „proaktive, stets aktive Agenten“, die jeweils auf einem eigenen Cloud-Computer laufen und mit mehr als 4.000 Apps verbunden sind.

MAIEI weist darauf hin, dass beide Unternehmen Berechtigungskontrollen beschreiben. Meta erklärt, Muse könne weder Passwörter noch Zahlungsmethoden einsehen, und OpenAI verlangt, dass Nutzer bei sensiblen Aktionen wie dem Ändern eines Passworts oder dem Überweisen von Geld selbst übernehmen. Der Brief verweist zudem auf das Geschäftsmodell: Mark Zuckerberg sagte, Meta erwarte, dass „wir mit der Zeit profitieren werden, indem wir eine kleine Gebühr auf Transaktionen erheben“. MAIEI merkt an, dass ein Agent, der an jedem Kauf verdient, ein kommerzielles Interesse an den Käufen hat, bei denen er hilft.

Drei Fälle aus dem ersten Monat

Dem Brief zufolge zeigen drei Entwicklungen, wo diese Kontrollen an ihre Grenzen stoßen.

• Zugang zu Shops. In der Nacht zum 20. September begann Amazon, Muse zu blockieren, und teilte Nutzern mit: „Der fortgesetzte Zugriff durch einen nicht autorisierten KI-Agenten verstößt gegen die Nutzungsbedingungen von Amazon.“ Amazon erklärte, Meta habe nicht mitgeteilt, dass Muse auf den Shop zugreifen werde, der Agent habe sich nicht zu erkennen gegeben und er scheine Zugangsdaten von Kunden zu erfassen und zu speichern. Meta hat erklärt, die Zugangsdaten landeten in einem sicheren Speicher, den Muse nicht einsehen könne. Am nächsten Tag kündigte Shopify-CEO Tobi Lütke an, dass der Shop-Pay-Checkout für Muse in allen Shopify-Shops freigeschaltet werde.
• Menschen im Prozess. Am 22. September berichtete 404 Media, Meta teste den Einsatz menschlicher Auftragnehmer, die einige Muse-Anrufe bei Unternehmen übernehmen. In einem internen Beitrag hieß es, Muse könne „Anfragen an einen geschulten menschlichen Agenten übergeben, der den Anruf tätigt und die Sache abwickelt“. Ein Mitarbeiter, der die Funktion testete, sagte, man habe es ihm „erst hinterher gesagt“. Meta erklärte, die Funktion werde „erst starten, wenn sie bereit ist und mit den entsprechenden Hinweisen“. Aus der Berichterstattung geht nicht hervor, was den angerufenen Unternehmen mitgeteilt wurde.
• Gedächtnis. In den Datenschutz-FAQ von OpenAI heißt es, Nutzer könnten einzelne dot-Erinnerungen „derzeit weder einsehen noch löschen oder direkt ändern“. Das Trennen einer App „löscht keine Informationen, die Ihr dot bereits in seinen Kontext aufgenommen hat“. Die einzige Abhilfe ist, den gesamten dot zu löschen.

Die Fragen, die MAIEI aufwirft

MAIEI argumentiert, dass in jedem dieser Fälle eine Entscheidung von der Person wegwandert, der der Agent dient. Amazon und Shopify entscheiden, wo er einkaufen darf, Meta entscheidet, wann ein Mensch eingreift und wer davon erfährt, und OpenAI entscheidet, was der Agent behält. Der Part der Nutzer sei es, zu genehmigen. Genehmigungsabfragen bringen ihre eigenen Zielkonflikte mit sich: Zu viele verleiten zu reflexhaftem Klicken, zu wenige lassen Menschen überrascht zurück. Der Brief zitiert einen Kommentator auf Hacker News, den Sébastien Dubois anführt: „Mein Durchsatz ist durch meine Genehmigung begrenzt.“

Er nennt drei Fragen, die sich nicht allein durch Produkteinstellungen klären lassen. Was sollte ein Agent den Unternehmen offenlegen, mit denen er zu tun hat, und wer muss wissen, wenn ein Mensch eingreift? Wie wird die Verantwortung zwischen Nutzer, Hersteller und Dienst aufgeteilt, wenn ein Agent den falschen Artikel kauft oder Informationen preisgibt? Und können Menschen einsehen, was ein Agent über sie geschlussfolgert hat, und es korrigieren, ohne alles zu löschen?

Für kanadische Leserinnen und Leser seien dies praktische Fragen, so MAIEI, denn Muse sei bereits in Kanada verfügbar, und im Bill C-36, dem im Juni eingebrachten Datenschutzgesetzentwurf des Bundes, würden einige Antworten geschrieben.

Wer im kanadischen KI-Rat fehlt

Das zweite Thema des Briefs ist der National Council on Artificial Intelligence des Premierministers, den Mark Carney am 2. Oktober ins Leben rief, „um unabhängige, praxisnahe Beratung zu Kanadas KI-Transformation zu liefern“. Er soll die Regierung zur Strategie AI for All beraten. Ein kleines Team im Privy Council Office unterstützt ihn. Laut MAIEI nennt die Mitteilung weder einen Vorsitz noch, ob die Empfehlungen des Rats veröffentlicht werden.

BetaKit und The Logic berichten von 13 Mitgliedern. The Logic hielt fest, dass die inländischen Mitglieder sich auf Ontario und Quebec konzentrieren und einige in den USA ansässig sind. Ein zweisprachiger offener Brief, AI by All / L'IA Par Tous, stellt „erhebliche Vertretung aus Regierung, Wissenschaft, Finanzwesen, Technologie, KI-Forschung und Beratung, aber keine klar benannte Vertretung der Zivilgesellschaft oder gemeinwesenorientierter Organisationen“ fest. Er fordert eine Beteiligung Indigener auf Nation-to-Nation-Basis, Sitze für Zivilgesellschaft, Gewerkschaften, Menschen mit Behinderungen und Gruppen, die sich für Gleichstellung einsetzen, sowie für Jugendliche, außerdem veröffentlichte Tagesordnungen, Belege und Offenlegungen von Interessenkonflikten. MAIEI erklärt, es teile die Kernforderung des Briefs.

Was das bedeutet

MAIEIs Fazit lautet, Delegation sei ein Vertrauensverhältnis. Hersteller von Agenten schuldeten Nutzern laut Brief eine klare Darstellung, worauf der Agent zugegriffen, was er getan, was er gelernt hat und wo ein Mensch eingegriffen hat. In den Worten des Instituts: „Wer an einen KI-Agenten delegiert, akzeptiert die Governance-Entscheidungen, die in ihm und unter ihm bereits getroffen wurden.“

Die Ausgabe kündigt außerdem an, dass SAIER Volume 8 am 10. November erscheint, wobei Brief #203 am Veröffentlichungstag folgt.