CDT fordert von Colorado strengere Regeln für das Gesetz zu automatisierten Entscheidungen

Eine engere Definition des „de minimis factor“

Im Zentrum der Forderung steht die Frage, wann eine Technologie zur automatisierten Entscheidungsfindung (ADMT) nur einen geringfügigen Einfluss auf eine folgenreiche Entscheidung hat. CDT erklärt, die Bedeutung von „de minimis factor“ dürfe in den endgültigen Regeln nicht zu weit oder zu unscharf gefasst sein, weil sonst zu viele betroffene Unternehmen zu dem Schluss kämen, ihre Systeme fielen nicht unter das Gesetz. Wenn diese Unternehmen die Transparenzpflichten übergingen, fehlten dem Büro des Generalstaatsanwalts nach Ansicht von CDT die Informationen, um Umgehungen zu erkennen.

Die vorgeschlagenen Regeln definieren einen „de minimis factor“ als einen Faktor, der bei einer folgenreichen Entscheidung nicht substanziell ist, ergänzt um eine nicht abschließende Liste von Kriterien. CDT sieht darin mehrere Schwächen. Die Organisation verweist darauf, dass die Liste den Begriff „Consequential Decision maker“ verwendet, der weder in den vorgeschlagenen Regeln definiert noch im ADMT Act benutzt wird. Der Begriff taucht auch in den Regeln 6.1 und 6.2 auf, die eine widerlegbare Vermutung begründen, dass eine ADMT eine Entscheidung wesentlich beeinflusst. CDT fordert, ihn so zu definieren, dass er sowohl Betreiber im Erstverhältnis als auch in ihrem Auftrag handelnde Dritte erfasst.

Zudem lasse sich die Liste aus Sicht von CDT manipulieren. Ein Betreiber könne etwa das Ergebnis einer ADMT zusammen mit anderen Informationen prüfen und sich dennoch systematisch darauf verlassen, ohne dies einzuräumen. Ein weiteres Kriterium, das sich auf Datenmengen oder eine Komplexität bezieht, die ein Betreiber nicht in angemessener Zeit prüfen kann, könnte Betreiber dazu verleiten, mehr oder komplexere Daten einzubeziehen als nötig, um unter die Ausnahme zu fallen.

CDT schlägt vor, die Definition durch eine Formulierung zu ersetzen, nach der ein „de minimis factor“ „eine deutlich kleinere Rolle spielt als alle anderen relevanten Faktoren“, die der Betreiber prüft. Der Wortlaut stammt von CDT und entspricht der Stellungnahme. Außerdem soll Rule 6.1(B)(3) klarstellen, dass ein Betreiber, der sich weitgehend auf eine ADMT verlässt oder nur Informationen prüft, die mit deren Ergebnis übereinstimmen, dieses Ergebnis nicht als „de minimis“ einstufen kann.

Ausnahmen, Werbung und vorgelagerte Entwickler

CDT weist darauf hin, dass die Definition im ADMT Act Werkzeuge ausnimmt, die ausschließlich dazu dienen, Informationen für die menschliche Prüfung oder die administrative Bearbeitung zusammenzufassen, zu ordnen, zu übersetzen, zu entwerfen, weiterzuleiten oder darzustellen. Die Organisation bittet den Generalstaatsanwalt anzuerkennen, dass solche Werkzeuge menschliche Prüfer dennoch beeinflussen können und dass betroffene Unternehmen sich bemühen sollten, dass ihre Ergebnisse Entscheidungen nicht in verzerrender Weise wesentlich beeinflussen.

Zur Definition der „consequential decision“ erklärt CDT, die Ausnahme für Werbung im Gesetz entbehre der Einschränkungen, die für andere Ausnahmen gelten. Der Generalstaatsanwalt solle die weiteste Auslegung vermeiden, da eine vollständige Freistellung von Werbung den Zielen des Gesetzes zuwiderliefe. Die Regeln sollten festhalten, dass Werbung auch dann den Bürgerrechts- und Verbraucherschutzgesetzen Colorados unterliegt, wenn sie den ADMT Act einhält.

Auf die Bitte des Büros um Rückmeldung zum Begriff „financial or lending service“ schlägt CDT vor, die Definition von „consumer financial product or service“ in 12 U.S.C. 5481(5) heranzuziehen. Dadurch würden laut CDT auch Entscheidungen zur Kreditverwaltung, zu Zahlungsinstrumenten und Zahlungsabwicklungsprodukten sowie zu Schuldnerberatung und Schuldenmanagement erfasst.

Mit Blick auf Entwickler sagt CDT, das Beispiel in Rule 4.2(D)(1) passe weniger zu dieser Regel und veranschauliche vielmehr Rule 4.2(B)(1). Die Organisation schlägt ein Beispiel vor, das zeigt, dass ein vorgelagerter Entwickler seinen Pflichten nicht entgehen kann, indem er behauptet, sein Produkt sei nicht für eine erfasste ADMT gedacht, und zugleich dieser Behauptung zuwiderhandelt. Als Fall nennt CDT ein Unternehmen, das in seiner Richtlinie zur zulässigen Nutzung eine solche Integration untersagt, zugleich aber den Nutzen seines Produkts für folgenreiche Entscheidungen in erfassten Bereichen bewirbt.

Was das bedeutet

CDT bezeichnet den ADMT Act als derzeit das stärkste umfassende Gesetz des Landes zu automatisierten Entscheidungen, wenn auch mit weniger Schutz für Verbraucher als der frühere Senate Bill 24-205. Die vorgeschlagenen Regeln des Department of Law nennt die Organisation vielversprechend. Die Stellungnahme ist ein Beitrag zum Rechtsetzungsverfahren; wie der Generalstaatsanwalt darauf reagieren wird, geht aus der Quelle nicht hervor.

Die Stellungnahme beginnt außerdem einen Abschnitt zu den Pflichten der Betreiber, darunter die Mitteilung, die Verbraucher nach Sec. 6-1-1704(1) erhalten müssen, wenn eine erfasste ADMT eingesetzt wird. Der Quelltext bricht mitten in diesem Abschnitt ab. Für Unternehmen, die automatisierte Werkzeuge in Bereichen wie der Kreditvergabe entwickeln oder nutzen, wird die Debatte über Definitionen wie „de minimis factor“ mitentscheiden, ob ihre Systeme unter das Gesetz fallen.