GovAI zieht Bilanz für 2020: zwei große Berichte, 15 wissenschaftliche Veröffentlichungen und ein größeres Team

Wachsendes Team und breite Forschungsagenda

In seinem Vorwort schreibt GovAI-Direktor Allan Dafoe, aus seiner Sicht werde „die Governance von KI zu einem der wichtigsten globalen Themen“. 2020 habe es weitere Entwicklungen in dem Feld gegeben, und es sei ermutigend zu sehen, wie schnell es wachse.

Dem Bericht zufolge verfügt GovAI inzwischen über ein Kernteam von 9 Forschenden und ein Netzwerk aus 21 Affiliates und Kooperationspartnern. Außerdem begrüßte das Centre mit Joslyn Barnhart und Robert Trager zwei Visiting Senior Researchers.

Zu den Themen des Jahres zählen eine Wirkungstheorie (Theory of Impact) für KI-Governance, die Windfall Clause, Cooperative AI, die Logik strategischer Güter, nationale Sicherheit und Kartellrecht, Strategien von Unternehmen zum geistigen Eigentum, Verantwortung von KI-Forschenden und Impact Statements, historische Trends des Wirtschaftswachstums, KI und China sowie die Entwicklung vertrauenswürdiger KI.

Dafoe räumt die Grenzen dieses Spektrums ein. Unter Verweis auf seinen Aufsatz AI Governance: Opportunity and Theory of Impact schreibt er, die Gruppe sei sich über die technische und geopolitische Natur des Problems sehr unsicher und solle deshalb ein breit gefächertes Portfolio an Expertise aufbauen. Die Arbeit von GovAI decke nur einen kleinen Teil des Problemraums ab.

Ausgewählte Veröffentlichungen

Der Bericht listet eine Reihe von Papieren auf. Mehrere stechen hervor:

• Open Problems in Cooperative AI: Das Papier stammt von Dafoe und Forschenden, die überwiegend bei DeepMind arbeiten. Es plädiert dafür, dass sich die KI-Forschung gezielt mit Kooperationsproblemen befassen sollte, was die Autoren als Cooperative AI bezeichnen. GovAI war Mitorganisator eines NeurIPS-Workshops zu dem Thema.
• The Windfall Clause: Ein politischer Vorschlag für einen Mechanismus, bei dem sich KI-Entwickler vorab verpflichten, einen erheblichen Teil ihrer Gewinne an die globale Allgemeinheit zurückzugeben, falls sie durch transformative KI einen extrem großen Teil der Weltwirtschaft auf sich vereinen. Laut Bericht wurde das Projekt von GovAI geleitet und inspirierte die Shared Prosperity Initiative der Partnership on AI.
• The Offense-Defense Balance of Scientific Knowledge: Die Arbeit von Toby Shevlane und Dafoe fragt, ob die Veröffentlichung von KI-Forschung Missbrauch verringert. Sie argumentiert, das Muster bei der Offenlegung von Software-Schwachstellen, das oft die Verteidigung begünstigt, lasse sich nicht ohne Weiteres auf KI-Forschung übertragen.
• U.S. Public Opinion on the Governance of Artificial Intelligence: Das Papier präsentiert die Ergebnisse einer Umfrage unter 2.000 Amerikanerinnen und Amerikanern zu ihrer Haltung gegenüber KI und KI-Governance.
• Social and Governance Implications of Improved Data Efficiency: Es untersucht die Folgen für Marktkonzentration, böswillige Nutzung, Datenschutz und Robustheit, falls es Forschenden gelingt, die Dateneffizienz von maschinellem Lernen zu verbessern.

Politik, Recht und Institutionen

Weitere Arbeiten befassen sich mit der institutionellen Seite von KI. Ein kommender Artikel in Nature Machine Intelligence reflektiert die Broader-Impact-Anforderung von NeurIPS, die die Autoren als neuartige Governance-Initiative einer der renommiertesten KI-Konferenzen der Welt beschreiben.

Ein GovAI-Arbeitspapier von Nathan Calvin und Jade Leung bietet eine vorläufige Analyse der rechtlichen Regeln, Normen und Strategien rund um KI-bezogenes geistiges Eigentum, einschließlich der Praktiken ausgewählter Unternehmen und Regierungen. Ein technischer Bericht von Cullen O'Keefe untersucht anhand historischer Präzedenzfälle, wie Erwägungen der nationalen Sicherheit kartellrechtliche Entscheidungen im Bereich KI beeinflussen könnten. Der Bericht hält fest, dass KI wie Eisenbahnen, das Internet und Elektrizität voraussichtlich sowohl die nationale Sicherheit als auch die Marktstruktur berührt.

Ein kommendes Papier von Jeffrey Ding und Dafoe in Security Studies fragt, was ein Gut strategisch macht. Dem Bericht zufolge könnte die Klärung dieser Logik politische Entscheidungsträger von besonders wenig hilfreichen, rivalisierenden Industriepolitiken abbringen. Das Papier wendet die Analyse auf KI an.

Finanzierung und Ausblick

GovAI dankt Open Philanthropy, dem Future of Life Institute und dem European Research Council für die Unterstützung. Die Gruppe gehört zum Future of Humanity Institute der University of Oxford und verweist auf wachsende Verbindungen zum Department of Politics and International Relations, zum Department of Computer Science und zum neuen Ethics in AI Institute.

Die Gruppe will neuen Talenten über ihr Governance of AI Fellowship den Einstieg in die KI-Governance erleichtern, wobei die Bewerbungsphase voraussichtlich im Frühjahr 2021 beginnt. Hinzu kommen Neueinstellungen, Kooperationen und die Aufnahme erfahrener Gastforschender. Dafoe sagt, GovAI freue sich darauf, das Team zu vergrößern, und habe große Ambitionen für weitere Fortschritte. Interessierte können www.governance.ai besuchen oder sich an Markus Anderljung wenden.