Penn eröffnet Schlein Center for Cybersecurity gegen KI-getriebene Bedrohungen

Ein Zentrum für die Bedrohungen im KI-Zeitalter

Wie Penn Engineering mitteilt, will das Schlein Center Ingenieure, Juristen und Politikexperten sowie Partner aus Wirtschaft und Behörden vereinen. Ziel ist es, einer neuen Generation KI-getriebener Cyberbedrohungen entgegenzutreten. Ted Schlein (C'86, PAR'20) finanzierte das Zentrum mit einer Spende, die die Universität als wegweisend bezeichnet.

Schlein sagte, KI verändere Ausmaß und Tempo des Kampfes. Sie verschaffe „Angreifern nie dagewesene Fähigkeiten, gebe aber auch Verteidigern leistungsstarke neue Werkzeuge an die Hand“. Entscheidend sei die Frage, ob es genug Menschen mit den nötigen Fähigkeiten gebe, um diese Werkzeuge zu nutzen. Die Investition in die nächste Generation von Fachkräften sei sein Antrieb gewesen, das Zentrum aufzubauen.

Penn-Präsident J. Larry Jameson erinnerte daran, dass an der Penn der ENIAC entstand, der erste elektronische Universalrechner der Welt, und sagte, das Zentrum „wird bei der Absicherung der digitalen Infrastruktur, auf der die moderne Welt beruht, vorangehen“.

Sicher durch Design statt nachträglichem Flicken

Geleitet wird das Zentrum von Michael Hicks, Cecilia Fitler Moore Professor für Computer and Information Science (CIS). Er argumentiert, Patchen reiche nicht mehr aus: „Wir können uns nicht zur Sicherheit patchen, erst recht nicht, wenn Angreifer mit KI Schwachstellen in beispielloser Geschwindigkeit aufdecken.“

Das Zentrum legt deshalb den Schwerpunkt auf Werkzeuge, die Software von Grund auf sicher machen („secure by design“), statt wie bisher üblich Code erst nach dem Schreiben auf Schwachstellen zu testen. Penn verweist auf ein Ungleichgewicht: Verteidiger müssen jeden Fehler finden, Angreifer brauchen nur einen auszunutzen. Ältere Sprachen wie C, die in kritischer Software noch immer verbreitet sind, erfordern oft manuelle Speicherverwaltung, sodass kleine Programmierfehler zu ausnutzbaren Lücken werden können.

Mehrere Projekte spiegeln diesen Ansatz wider:

• Vellvm: Steve Zdancewics Projekt hilft dabei, die Übersetzung von altem C-Code in Rust, eine speichersichere Sprache, zu automatisieren. Ende 2023 veröffentlichte die CISA The Case for Memory-Safe Roadmaps, die empfiehlt, sich von C abzuwenden.
• Formale Verifikation: Diese Methode beweist mithilfe mathematischer Logik, dass Software bestimmte Anforderungen erfüllt. Laut Penn könnte sie eines Tages sicherstellen helfen, dass KI in großem Maßstab sichereren Code schreibt, statt Schwachstellen aus von Menschen geschriebenen Trainingsdaten zu reproduzieren.
• Cedar: Hicks entwickelt diese Programmiersprache, die er als Forscher bei Amazon begonnen hat. Sie nutzt mathematische Beweise und umfangreiche Tests, um zu steuern, wer auf digitale Ressourcen zugreifen darf.
• Zero-Knowledge-Beweise: Sebastian Angel und Pratyush Mishra arbeiten an Verfahren, mit denen Programme einander ihre Sicherheit nachweisen können, ohne geschützte Daten preiszugeben.

Fächer übergreifend arbeiten, Räume teilen

Penn betont, dass Technik nur die halbe Lösung ist. Unternehmen fehlten möglicherweise die Anreize, sicherere Systeme einzuführen, da der Austausch von Altsystemen teuer sein kann und die Markteinführungsgeschwindigkeit oft Vorrang hat. Der pensionierte General der US-Luftwaffe Timothy D. Haugh, früherer Kommandeur des U.S. Cyber Command und Direktor der National Security Agency, ist dem Zentrum kürzlich als Senior Fellow beigetreten. Er sagte, Penn könne Expertise aus Ingenieurwesen, Wirtschaft, Medizin, Kommunikation, Recht und Politikwissenschaft zusammenbringen.

Am 15. Oktober richtete das Zentrum gemeinsam mit Penn Carey Law eine Diskussion darüber aus, ob Cyberversicherungen Unternehmen tatsächlich dazu motivieren, ihre Abwehr zu stärken, oder lediglich den Anschein von Sicherheit erzeugen.

Das Zentrum befindet sich im sechsten Stock der Amy Gutmann Hall, was zufällige Begegnungen zwischen Forschenden laut Penn wahrscheinlicher macht. Ein Beispiel: Ein Doktorand besuchte ein Seminar, in dem Hicks eine Idee skizzierte, bei der KI-Agenten wie Teams in einem Cybersicherheitswettbewerb gegeneinander antreten, die einen schreiben Code, die anderen versuchen, ihn zu knacken. Der Student trug die Idee an seinen Betreuer Eric Wong, Assistant Professor in CIS, weiter, und die Gruppe bereitet nun eine Veröffentlichung vor.

Eröffnungsveranstaltung und Bedeutung

Am 21. Oktober beging das Zentrum seine Eröffnung mit der Veranstaltung Cybersecurity at the Crossroads: Technology, Security and Society in the Age of AI, zu der Fachleute aus Wissenschaft, Wirtschaft und Behörden kamen. Laut Penn nahm auch Jen Easterly teil, CEO der RSA Conference und frühere CISA-Direktorin.

Für die Branche ist das Zentrum ein Signal: Man wettet darauf, dass Sicherheit im KI-Zeitalter davon abhängt, wie Software gebaut wird, und nicht nur davon, Fehler schneller zu finden, sowie auf die Ausbildung von Menschen, die technische, juristische und politische Kompetenzen verbinden. Penn beschreibt die Forschung des Zentrums als Verbindung aus strenger Theorie und Praxistests.