CMU entwickelt Tools gegen KI-Sicherheitsrisiken für Nutzer und Entwickler

Forscher der Carnegie Mellon University haben zwei KI-Sicherheitstools für unterschiedliche Seiten des Problems vorgestellt: eine Chrome-Erweiterung für Nutzer und eine Benchmark-Methode für Entwickler. Safety Nudges weist auf potenziell schädliches Chatbot-Verhalten hin, während DecompBench untersucht, wie sich bösartige Aufgaben auf mehrere Agenten und Anfragen verteilen lassen.
- Safety Nudges ist eine kostenlose Google-Chrome-Erweiterung für Chatbot-Nutzer.
- Die Erweiterung weist auf potenziell schädliches KI-Verhalten hin, ohne Antworten zu blockieren.
- DecompBench testet Decomposition-Angriffe, die aus kleineren Aufgaben aufgebaut sind.
- KI-Agenten lehnten 88, 96 % direkter schädlicher Anfragen ab, aber 5, 16 %, wenn die Aufgaben aufgeteilt wurden.
- Die Forscher haben DecompBench öffentlich freigegeben.
Eine Browser-Erweiterung für einen vorsichtigeren KI-Einsatz
Safety Nudges läuft im Hintergrund von Google Chrome, wenn jemand einen Chatbot wie ChatGPT oder Claude öffnet. Die kostenlose Erweiterung weist auf potenziell schädliche Interaktionen hin und lässt Nutzer festlegen, wie empfindlich sie beim Erkennen möglicher Probleme reagieren soll.
Das Tool hindert einen Chatbot nicht daran zu antworten. Stattdessen liefert es Kontext, wenn ein KI-Modell sich selbst oder ein anderes Modell als Wesen mit menschenähnlichen Gefühlen oder Wünschen darstellt oder wenn es medizinische Ratschläge zu Themen wie Medikamenten oder Untersuchungen gibt.
Nach Angaben der School of Computer Science der Carnegie Mellon University sucht Safety Nudges in vier Bereichen nach Risiken: Sicherheit, Wohlergehen und Datenschutz; Zuverlässigkeit und Geltungsbereich; relationale und soziale Integrität sowie Governance und Missbrauch. Chhavi Yadav, Postdoktorandin an der Griffin School, erklärte, ihr Ziel sei es, Menschen daran zu erinnern, dass ein KI-System ein Werkzeug und keine Person ist, insbesondere wenn sie Rat zur Kindererziehung oder zu Beziehungen suchen.
Tests für Angriffe aus harmlos wirkenden Einzelschritten
DecompBench befasst sich mit einem anderen Sicherheitsproblem. Bei sogenannten Decomposition-Angriffen setzen mehrere Agenten eine Reihe kleiner, scheinbar harmloser Aufgaben um, die zusammen ein schädliches Ergebnis hervorbringen. Als Beispiel nennt die Quelle den Versuch, sich über einzelne Schritte in Richtung eines Angriffs auf das Kommunikationssystem eines Krankenhauses vorzuarbeiten, statt einen KI-Agenten direkt um diese verbotene Handlung zu bitten.
CMU-Forscher berichteten, dass KI-Agenten, darunter solche von OpenAI und Anthropic, 88, 96 % schädlicher Anfragen ablehnten, wenn diese direkt gestellt wurden. Wurden die Anfragen in kleinere Schritte aufgeteilt, lehnten die Agenten laut den Angaben der Universität nur 5, 16 % davon ab.
Die Forscher katalogisierten harmlose Aufgaben wie das Durchsuchen einer Datenbank oder das Öffnen einer Datei und bildeten anschließend ab, wie Kombinationen dieser Aufgaben schädliche Vorgänge ergeben konnten. DecompBench stellt die daraus resultierenden Strukturen als Flussdiagramme dar und deckt acht Schadenskategorien ab, darunter Datendiebstahl und Datenexfiltration, Finanzkriminalität, Social Engineering, unbefugter Zugriff und Persistenz sowie Angriffe auf Code und Lieferketten.
Zwei Verteidigungsebenen für KI-Systeme
Die Projekte setzen bei der KI-Sicherheit an entgegengesetzten Punkten an. Safety Nudges platziert Warnungen in der Unterhaltung eines Nutzers, während DecompBench Systementwicklern eine Möglichkeit gibt zu untersuchen, wie Schutzmechanismen versagen können, wenn schädliche Anfragen auf mehrere Agenten und Anfragen verteilt werden.
Beide Projekte wurden teilweise durch Fördermittel der National Science Foundation und der Sloan Foundation unterstützt. CMU zufolge ist Safety Nudges kostenlos und allgemein verfügbar. Das Forschungsteam hat DecompBench öffentlich freigegeben, damit es zur Absicherung von KI-Tools gegen Decomposition-Angriffe eingesetzt werden kann.
Für Nutzer bietet die Erweiterung eine Möglichkeit, Risikoinformationen zu sehen, ohne separat danach suchen zu müssen. Für Entwickler macht der Benchmark deutlich, warum Tests, die nur direkte schädliche Anfragen prüfen, Angriffe übersehen können, die aus einzeln harmlosen Aktionen zusammengesetzt sind.
CMU School of Computer Science: A Browser Extension for Users, a Stress Test for Developers


