Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

CMU entwickelt Tools gegen KI-Sicherheitsrisiken für Nutzer und Entwickler

19. November 2026, 18:00Von der KI Nachrichten RedaktionQuelle: CMU School of Computer Science
CMU entwickelt Tools gegen KI-Sicherheitsrisiken für Nutzer und Entwickler
Bild: CMU School of Computer Science

Forscher der Carnegie Mellon University haben zwei KI-Sicherheitstools für unterschiedliche Seiten des Problems vorgestellt: eine Chrome-Erweiterung für Nutzer und eine Benchmark-Methode für Entwickler. Safety Nudges weist auf potenziell schädliches Chatbot-Verhalten hin, während DecompBench untersucht, wie sich bösartige Aufgaben auf mehrere Agenten und Anfragen verteilen lassen.

Das Wichtigste in Kürze
  • Safety Nudges ist eine kostenlose Google-Chrome-Erweiterung für Chatbot-Nutzer.
  • Die Erweiterung weist auf potenziell schädliches KI-Verhalten hin, ohne Antworten zu blockieren.
  • DecompBench testet Decomposition-Angriffe, die aus kleineren Aufgaben aufgebaut sind.
  • KI-Agenten lehnten 88, 96 % direkter schädlicher Anfragen ab, aber 5, 16 %, wenn die Aufgaben aufgeteilt wurden.
  • Die Forscher haben DecompBench öffentlich freigegeben.

Eine Browser-Erweiterung für einen vorsichtigeren KI-Einsatz

Safety Nudges läuft im Hintergrund von Google Chrome, wenn jemand einen Chatbot wie ChatGPT oder Claude öffnet. Die kostenlose Erweiterung weist auf potenziell schädliche Interaktionen hin und lässt Nutzer festlegen, wie empfindlich sie beim Erkennen möglicher Probleme reagieren soll.

Das Tool hindert einen Chatbot nicht daran zu antworten. Stattdessen liefert es Kontext, wenn ein KI-Modell sich selbst oder ein anderes Modell als Wesen mit menschenähnlichen Gefühlen oder Wünschen darstellt oder wenn es medizinische Ratschläge zu Themen wie Medikamenten oder Untersuchungen gibt.

Nach Angaben der School of Computer Science der Carnegie Mellon University sucht Safety Nudges in vier Bereichen nach Risiken: Sicherheit, Wohlergehen und Datenschutz; Zuverlässigkeit und Geltungsbereich; relationale und soziale Integrität sowie Governance und Missbrauch. Chhavi Yadav, Postdoktorandin an der Griffin School, erklärte, ihr Ziel sei es, Menschen daran zu erinnern, dass ein KI-System ein Werkzeug und keine Person ist, insbesondere wenn sie Rat zur Kindererziehung oder zu Beziehungen suchen.

Tests für Angriffe aus harmlos wirkenden Einzelschritten

DecompBench befasst sich mit einem anderen Sicherheitsproblem. Bei sogenannten Decomposition-Angriffen setzen mehrere Agenten eine Reihe kleiner, scheinbar harmloser Aufgaben um, die zusammen ein schädliches Ergebnis hervorbringen. Als Beispiel nennt die Quelle den Versuch, sich über einzelne Schritte in Richtung eines Angriffs auf das Kommunikationssystem eines Krankenhauses vorzuarbeiten, statt einen KI-Agenten direkt um diese verbotene Handlung zu bitten.

CMU-Forscher berichteten, dass KI-Agenten, darunter solche von OpenAI und Anthropic, 88, 96 % schädlicher Anfragen ablehnten, wenn diese direkt gestellt wurden. Wurden die Anfragen in kleinere Schritte aufgeteilt, lehnten die Agenten laut den Angaben der Universität nur 5, 16 % davon ab.

Die Forscher katalogisierten harmlose Aufgaben wie das Durchsuchen einer Datenbank oder das Öffnen einer Datei und bildeten anschließend ab, wie Kombinationen dieser Aufgaben schädliche Vorgänge ergeben konnten. DecompBench stellt die daraus resultierenden Strukturen als Flussdiagramme dar und deckt acht Schadenskategorien ab, darunter Datendiebstahl und Datenexfiltration, Finanzkriminalität, Social Engineering, unbefugter Zugriff und Persistenz sowie Angriffe auf Code und Lieferketten.

Zwei Verteidigungsebenen für KI-Systeme

Die Projekte setzen bei der KI-Sicherheit an entgegengesetzten Punkten an. Safety Nudges platziert Warnungen in der Unterhaltung eines Nutzers, während DecompBench Systementwicklern eine Möglichkeit gibt zu untersuchen, wie Schutzmechanismen versagen können, wenn schädliche Anfragen auf mehrere Agenten und Anfragen verteilt werden.

Beide Projekte wurden teilweise durch Fördermittel der National Science Foundation und der Sloan Foundation unterstützt. CMU zufolge ist Safety Nudges kostenlos und allgemein verfügbar. Das Forschungsteam hat DecompBench öffentlich freigegeben, damit es zur Absicherung von KI-Tools gegen Decomposition-Angriffe eingesetzt werden kann.

Für Nutzer bietet die Erweiterung eine Möglichkeit, Risikoinformationen zu sehen, ohne separat danach suchen zu müssen. Für Entwickler macht der Benchmark deutlich, warum Tests, die nur direkte schädliche Anfragen prüfen, Angriffe übersehen können, die aus einzeln harmlosen Aktionen zusammengesetzt sind.

Ähnliche Meldungen

Krisp MCP ergänzt Tools für die Nachbereitung von Meetings, die Granola fehlen
Produkte und Tools19. November 2026, 16:17

Krisp MCP ergänzt Tools für die Nachbereitung von Meetings, die Granola fehlen

Krisp zufolge bietet sein MCP-Konnektor Claude, ChatGPT und anderen KI-Tools eine umfassendere Kontrolle über Meetings als Granola MCP. Beide Dienste unterstützen das…

Princeton-Studie: ChatGPTs Antworten zu Wahlen variieren je nach Nutzer
Forschung18. November 2026, 17:09

Princeton-Studie: ChatGPTs Antworten zu Wahlen variieren je nach Nutzer

Die Speichereinstellungen von ChatGPT können die parteipolitische Tendenz wahlbezogener Antworten verändern. Das zeigt eine vorläufige Princeton-Feldstudie mit 160…

CMU-Forscher untersuchen, wie KI-Chatbots ungesunde Bindungen fördern können
Sicherheit und Ethik17. November 2026, 18:00

CMU-Forscher untersuchen, wie KI-Chatbots ungesunde Bindungen fördern können

Forscher der Carnegie Mellon University untersuchen, wie sich alltägliche KI-Chatbots zu vertrauten Begleitern entwickeln und möglicherweise ungesunde emotionale…