MIT-Methode hilft KI-Textdetektoren, getarnte Texte zu erkennen

Forschende vom MIT und der Cornell University haben eine Trainingsmethode entwickelt, mit der sich KI-Textdetektoren an veränderte Schreibmuster und getarnte, von KI erzeugte Texte anpassen können. In Experimenten stieg die Erkennungsrate absichtlich getarnter Texte von rund 27 Prozent auf mehr als 93 Prozent.
- Forschende von MIT und Cornell haben eine Methode zur Anpassung von KI-Textdetektoren zur Testzeit entwickelt.
- TTA erreichte bei simulierten Veränderungen menschlicher Texte eine Genauigkeit von 85 Prozent.
- TTA erkannte in Experimenten mehr als 93 Prozent der getarnten KI-Texte.
- Herkömmliche Methoden identifizierten rund 27 Prozent der getarnten Texte.
- Die Forschenden gehen davon aus, dass künftige LLMs die Erkennung erschweren könnten.
Warum KI-Detektoren Schwierigkeiten haben
KI-Textdetektoren sind selbst KI-Modelle. Ihre Leistung kann nachlassen, wenn sich die von ihnen bewerteten Texte von dem Material unterscheiden, das beim Training verwendet wurde. Die Forschenden bezeichnen dieses Problem als Verschiebung der Datenverteilung.
Schreibstile können sich mit der Zeit verändern. Außerdem können Menschen automatisierte „Humanizer“-Tools verwenden, um von KI erzeugte Texte so zu bearbeiten, dass sie wie von einer Person verfasst wirken. Neue Large Language Models können eine weitere Herausforderung darstellen, indem sie Texte erzeugen, die sich von den Beispielen unterscheiden, die ein Detektor bisher gesehen hat.
Diese Schwächen könnten Lehrkräfte, Redaktionen, Verlage und Personalverantwortliche betreffen, die Erkennungstools einsetzen, um Texte zu markieren, die möglicherweise von einem LLM erzeugt wurden. Die Forschenden sehen auch mögliche Anwendungen in der Cybersicherheit, etwa zur Verhinderung von E-Mail-Phishing und zur Erkennung von Betrug bei der Suchmaschinenoptimierung.
Anpassung zur Testzeit verändert das Modell nach der Bereitstellung
Die vorgeschlagene Methode heißt Anpassung zur Testzeit, auf Englisch „test-time adaptation“ oder TTA. Statt einen Detektor nach seiner Veröffentlichung unverändert zu lassen, ermöglicht die Technik dem Modell, seine interne Funktionsweise anzupassen, während es neue, nicht gekennzeichnete Texte erhält.
Zu den eingehenden Beispielen gehören zeitgenössische von Menschen und von KI verfasste Texte. Das System erhält jedoch nicht die Information, welcher Kategorie die einzelnen Texte angehören. Die Forschenden erstellten Datensätze mit beiden Textarten, darunter von KI erzeugte Beispiele, die der Erkennung entgehen sollten. Anschließend trainierten sie den Detektor mit TTA und bewerteten ihn anhand von Daten mit bekannten Kennzeichnungen.
In Experimenten, die allmähliche Veränderungen der menschlichen Sprache simulierten, erreichte der TTA-Detektor eine Genauigkeit von 85 Prozent, verglichen mit 73 Prozent bei herkömmlichen Methoden. Bei Tests mit Texten, die gezielt die Erkennung erschweren sollten, identifizierten bestehende Methoden rund 27 Prozent der Texte, während TTA mehr als 93 Prozent erkannte.
Grenzen und mögliche Anwendungen
Manish Raghavan, Mitautor der Studie und MIT-Professor, sagte: „Wir haben gezeigt, dass die Anpassung zur Testzeit Ihren KI-Detektor deutlich robuster machen kann, selbst bei anhaltendem adversarialem Verhalten von KI-Nutzern.“ Der Erstautor Kevin Ren erklärte, TTA könne bereitgestellten Detektoren helfen, proaktiv auf wiederholte Versuche zu reagieren, sie zu umgehen.
Die Forschenden weisen darauf hin, dass die Anpassung an allmähliche Veränderungen menschlicher Texte schwieriger ist als die Reaktion auf gezielte Versuche, einen Detektor zu umgehen. Zudem könnte die Methode weniger wirksam werden, wenn künftige LLMs natürlicher klingende Sprache erzeugen und überprüfbare menschliche Texte für das Training schwerer zu beschaffen sind.
Raghavan sagte: „Es ist nicht vollständig klar, ob dieses Problem lösbar sein wird.“ Damit verwies er auf offene Fragen zu Wissenschaft, Schreiben und Kunst, wenn menschliche und von KI erzeugte Inhalte nur noch schwer zu unterscheiden sind. Die Forschung wird auf der Conference on Neural Information Processing Systems vorgestellt.
MIT News: Helping AI text detectors keep up with changing conditions


