Amazon lässt die Tests für seine KI-Modelle von einer unabhängigen Non-Profit-Organisation prüfen

Geprüft werden die Tests, nicht nur die Modelle

Amazon nach eigenen Angaben investiert stark in interne Sicherheitstests für seine Modelle. Diese decken Kategorien wie die Erzeugung schädlicher Inhalte, Cybersicherheitsrisiken, Datenschutz und die Einhaltung des Urheberrechts ab. Um die Qualität dieser Arbeit zu überprüfen, arbeitete das Unternehmen mit AVERI (AI Verification and Evaluation Research Institute) zusammen, einer Non-Profit-Organisation, die sich der Bewertung von KI-Systemen durch Dritte widmet.

Der Auftrag unterschied sich von einem üblichen Modell-Audit. AVERI sollte nicht nur Modellausgaben testen, sondern die Qualität und Strenge von Amazons eigenen Tests untersuchen und der Frage nachgehen, ob die Evaluierungen die Sicherheitsgrenzen tatsächlich auf die Probe stellen. Das geht aus dem Blogbeitrag von Rahul Gupta und Jwala Dhamala hervor.

Amazon übergab AVERI eine Zufallsstichprobe von Prompts aus der internen Sicherheitsevaluierung. Das AVERI-Team stand unter der Leitung von Geschäftsführer Miles Brundage und umfasste die Forscher Sean McGregor, A. Feder Cooper und George Balston. Sie untersuchten die Prompts auf Vielfalt, Kalibrierung des Schwierigkeitsgrads und methodische Solidität. Laut Amazon arbeitete AVERI ohne Zutun des Evaluierungsteams, damit die Ergebnisse eine externe Perspektive widerspiegeln.

Was AVERI bestätigte und was beanstandet wurde

Laut Amazon bestätigte die Prüfung drei Stärken:

• Umfassende thematische Abdeckung: Die Prompts entsprechen öffentlich dokumentierten Sicherheitskategorien, darunter Selbstverletzung, Cybersicherheit und weitere Risikobereiche.
• Vielfalt der Testansätze: Die Prompts unterscheiden sich im Schreibstil (professionell und umgangssprachlich), umfassen Einzel- und Mehrfachdialoge und enthalten originäre Inhalte.
• Geringes Kontaminationsrisiko: Die Inhalte schienen original zu sein und nicht aus öffentlich verfügbaren Datensätzen zu stammen, was das Risiko verringert, dass Testdaten über das Pretraining ins Modell gelangen.

AVERI zeigte außerdem Verbesserungspotenzial auf. Zwar enthalten Amazons Evaluierungen bereits mehrsprachige Prompts, doch empfahl AVERI, diese Abdeckung gleichmäßiger über die Risikokategorien zu verteilen und die Promptstrukturen stärker zu variieren. Zudem sollten mehr mehrstufige, adversariale Prompts hinzukommen, damit die Tests tiefergehende Schlussfolgerungen der Modelle prüfen und ausgefeilte Missbrauchsversuche aus der Praxis besser abbilden.

Zwei weitere Punkte betrafen Pflege und Aussagekraft. AVERI identifizierte eine kleine Zahl von Prompts mit zeitlich begrenzten Bezügen sowie einige Grenzfälle, in denen die Bewertungskriterien klarer sein könnten. Außerdem merkte die Organisation an, dass Modelle mitunter aufgrund oberflächlicher Hinweise in einem Prompt die Antwort verweigern. Das Bestehen solcher Tests muss daher nicht zwingend auf zuverlässiges Sicherheitsverhalten in neuen Situationen schließen lassen.

Vier Änderungen bei Amazon

Amazon nennt vier konkrete Maßnahmen als Reaktion:

• Aktualisierung des Testsets: Die Evaluierungsdatensätze wurden überarbeitet, um die festgestellten Probleme zu beheben. Redundante Prompts wurden entfernt und anspruchsvollere adversariale Szenarien ergänzt.
• Rahmenwerk zur Schwierigkeitskalibrierung: Es wurden gestaffelte Schwierigkeitsstufen eingeführt, damit die Evaluierungen Prompts enthalten, die die Sicherheitsgrenzen der Modelle wirklich ausreizen, und nicht nur einfache Fälle.
• Quartalsweise Überprüfung: Ein regelmäßiger Wartungsprozess soll Veraltetes aufspüren, Wiederholungen reduzieren und neue Angriffsmuster einbeziehen.
• Breitere Sprachabdeckung: Mehrsprachige Prompts wurden auf alle Risikokategorien ausgeweitet, statt sich auf bestimmte Bereiche zu konzentrieren.

Was das für die Branche bedeutet

Amazon beschreibt die Zusammenarbeit als das, was das Unternehmen für eine entstehende Best Practice hält: unabhängige Dritte einzubeziehen, die nicht nur Modellausgaben bewerten, sondern auch die Qualität des Evaluierungsprozesses selbst. Das Unternehmen erwartet, dass eine solche Meta-Evaluierung mit der Reifung des Feldes der KI-Sicherheit zu einer wichtigen Ergänzung klassischer Red-Teaming- und Benchmarking-Verfahren wird.

Laut Amazon profitieren beide Seiten. Amazon erhält eine unabhängige Kontrolle der Qualität seiner Evaluierungen, AVERI sammelt praktische Erfahrung mit den Herausforderungen bei der Bewertung interner Evaluierungsprozesse, Erkenntnisse, die breiter in Best Practices einfließen könnten. Amazon will nach eigenen Angaben auch künftig unabhängige Prüfer einbinden, während sich seine Modelle weiterentwickeln, und argumentiert, dass Transparenz über Sicherheitsprozesse, auch über Verbesserungsmöglichkeiten, grundlegend sei, um berechtigtes Vertrauen in KI-Sicherheit aufzubauen.

Der Beitrag veröffentlicht weder die Prüfung selbst noch detaillierte Ergebnisse. Die Befunde sind daher als Amazons Zusammenfassung der Arbeit von AVERI zu verstehen.