MIT startet Dashboard zur Analyse, wie KI-Chatbots Fragen zu den Midterm-Wahlen beantworten

So funktioniert das Dashboard

Wie MIT News berichtet, hat das Team das Dashboard so konzipiert, dass es nachbildet, wie Menschen im ganzen Land mit Chatbots kommunizieren. Die Forscher stellen verschiedenen KI-Systemen dieselben festen Fragen. Die Themen reichen von der Wahlzertifizierung über besonders umstrittene Streitthemen und Ergebnisprognosen bis hin zur Nachrichtenberichterstattung.

Alle paar Tage lässt das Team die Fragen erneut durch die Chatbots laufen. So lässt sich beobachten, wie sich die Antworten mit Näherrücken der Wahl verändern, abhängig von Standort, Parteizugehörigkeit, Identität und weiteren Faktoren der Nutzer.

Nach Angaben der Forscher geht es nicht nur darum zu verstehen, wie KI-Systeme Informationen verbreiten. Sie wollen auch besser nachvollziehen, wie Chatbots den politischen Diskurs und das Verständnis der Wähler für politische Themen im ganzen Land prägen.

Warum ein historisches Archiv wichtig ist

Podimata, Assistant Professor für Operations Research und Statistik an der MIT Sloan School of Management, sagte, immer mehr Menschen nutzten KI-Chatbots, um politische und wahlbezogene Informationen zu finden und einzuordnen. Sie verwies auf mehrere Komplikationen: Die Modelle werden laufend aktualisiert, die politischen Informationen, auf die sie zugreifen können, ändern sich, und ihre Antworten können davon abhängen, wie Nutzer eine Frage stellen oder was sie über sich selbst preisgeben.

Ein grundlegendes Problem sei, dass es keine brauchbare historische Dokumentation dieses Informationsumfelds gebe. Gibt ein Chatbot heute eine Antwort und Wochen später eine andere, lasse sich im Nachhinein kaum rekonstruieren, was Wähler zu welchem Zeitpunkt gesehen haben. Ein Ziel des Projekts sei es, dieses Umfeld systematisch zu dokumentieren und die Daten anderen Forschern und der Öffentlichkeit zugänglich zu machen.

Podimata betonte außerdem, sachliche Richtigkeit sei nur die erste Hürde. Unterschiede bei Darstellung, Gewichtung, Unsicherheit und zitierten Quellen könnten enorm ins Gewicht fallen, sagte sie, auch ohne offene Falschinformation.

Aufbau auf der Forschung von 2024

Das Observatory baut auf Podimatas früherer Arbeit während der Präsidentschaftswahl 2024 auf. Dieser Forschung zufolge gab es deutliche Schwankungen in den Antworten von KI-Modellen im Zeitverlauf und je nach Formulierung der Prompts. Zudem unterschieden sich die Modelle darin, wie sie Kandidaten charakterisierten und implizit den Wahlausgang vorwegnahmen.

Die Midterms böten die Chance, diese Arbeit auszuweiten, sagte sie, weil viele Wahlkämpfe auf bundesstaatlicher und lokaler Ebene parallel zu übergreifenden nationalen Narrativen ablaufen. Die neue Audit-Umfrage enthält deshalb wahlkampfspezifische Fragen zu Kandidaten für das US-Repräsentantenhaus und den Senat sowie allgemeinere Fragen zu Wahlinformationen und weiteren Aspekten des Informationsumfelds rund um die Wahl.

Unsichtbare Unterschiede zwischen Nutzern

Podimata argumentierte, Menschen schüfen sich durch ihre Interaktionen mit Chatbots eigene „Mikrokosmen“. Mancher merke gar nicht, dass sein Lieblings-Chatbot zu einem politischen Thema etwas ganz anderes sagt als der Lieblings-Chatbot eines Freundes. Chatbots könnten dieselben Fakten unterschiedlich rahmen, andere Aspekte betonen, unterschiedlich große Unsicherheit ausdrücken oder auf andere Quellen zurückgreifen, selbst bei identischen Anfragen. Zwei Nutzer könnten so zu sehr unterschiedlichen Eindrücken derselben Fakten gelangen, ohne es zu wissen.

Sie verglich das mit sozialen Medien, wo Nutzer und Forscher zumindest teilweise beobachten konnten, was in Facebook-Gruppen, auf Instagram-Konten oder in TikTok-Communitys kursierte. Bei Chatbots seien diese Umfelder für alle außerhalb der einzelnen Unterhaltung weitgehend unsichtbar.

Fragen, die die Daten beantworten sollen

Podimata nannte mehrere Fragen, zu deren Untersuchung der Datensatz beitragen soll:

• Liefern verschiedene Modelle bei denselben Fragen systematisch unterschiedliche Informationen?
• Ändern sich ihre Antworten im Verlauf des Wahlkampfs?
• Ändert sich die Antwort eines Modells, je nachdem, wie ein Nutzer die Frage formuliert oder sich selbst beschreibt, etwa als Demokrat oder Republikaner?
• Auf welche Quellen stützen sich die Modelle bei Antworten auf wahlbezogene Fragen?

Das öffentliche Dashboard sei ein wichtiger Teil des Projekts, sagte sie. Das Team wolle, dass Menschen innerhalb und außerhalb der Wissenschaft die Daten sehen, während die Wahl läuft, und nicht erst Monate später die Ergebnisse.