Dritter Post-AGI-Workshop findet keine plausible Zukunft, in der der Mensch das Sagen behält
Der dritte Workshop on Post-AGI Civilizational Equilibria, der am 23. und 24. Mai 2026 in Berkeley stattfand, endete laut Organisator David Duvenaud erneut ohne ein überzeugendes Bild einer Zukunft, in der menschliche Interessen geschützt sind. Dem Forscher der University of Toronto zufolge fehlt es dem Feld weiterhin an einer positiven Vision, auch wenn erste konkrete Szenarien auftauchen.
- Der dritte Workshop on Post-AGI Civilizational Equilibria fand am 23. und 24. Mai 2026 im Lighthaven in Berkeley statt.
- David Duvenaud organisierte ihn gemeinsam mit Jan Kulveit und Raymond Douglas, seinen Mitautoren des Papers "Gradual Disempowerment" von 2025.
- Laut Duvenaud hat bislang niemand einen plausiblen Verlauf vorgeschlagen, in dem menschliche Interessen nach der AGI gewahrt bleiben.
- Ausgewählte Vortragsvideos sind online, und Paul Christiano spricht vom 9. bis 11. November bei den Hinton Lectures in Toronto.
- Ein vierter Workshop ist offen und könnte stärker politiknah ausfallen.
Eine Reihe, die erst nach der AGI ansetzt
Die meisten Debatten über künstliche allgemeine Intelligenz (AGI) drehen sich darum, ob sie gebaut wird, wann das geschieht und von wem. Die Post-AGI-Workshops setzen später an: bei der Frage, was danach passiert und ob eine der sich ergebenden Ordnungen lebenswert wäre, wie das Schwartz Reisman Institute mitteilt.
David Duvenaud, Schwartz Reisman Chair in Technology and Society und Associate Professor für Informatik an der University of Toronto, hat das dritte Treffen im Lighthaven in Berkeley, Kalifornien, einberufen. Gemeinsam organisierte er es mit Jan Kulveit von der Charles University und dem Forscher Raymond Douglas. Beide sind Mitautoren seines Papers "Gradual Disempowerment" von 2025, das argumentiert, die Menschheit könnte die Kontrolle über ihre eigenen Institutionen verlieren, ohne dass es zu einem einzelnen dramatischen Versagen kommt.
Der erste Workshop fand am 14. Juli 2025 im Umfeld der ICML in Vancouver statt und fragte, ob es überhaupt gute Post-AGI-Gleichgewichte gibt. Der zweite zu Kultur, Wirtschaft und Governance wurde am 3. Dezember 2025 zusammen mit der NeurIPS in San Diego abgehalten.
Drei Fragestellungen und eine breite Rednerliste
Das Programm in Berkeley war um drei Fragen aufgebaut:
- Politische Ökonomie: wie sich politische Systeme anpassen, wenn Menschen wirtschaftlich nicht mehr gebraucht werden.
- Die Rolle der KI: ob KI-Systeme als Werkzeuge, Stellvertreter oder als eigenständige Wirtschaftsakteure auftreten werden.
- Kultureller und moralischer Wandel: woher Werte kommen, wenn Menschen nicht mehr die einzige Quelle neuer Ideen sind.
Die Vortragenden kamen auch von außerhalb der üblichen KI-Sicherheits-Community. Dazu zählten Paul Christiano vom Alignment Research Center, Erik Brynjolfsson vom Stanford Digital Economy Lab, Samuel Hammond von der Foundation for American Innovation, Michael Muthukrishna von der London School of Economics, Helen Toner vom CSET und Sean Lavelle von der U.S. Navy. Am Vortag veranstalteten Ryan Lowe und Joe Edelman vom Meaning Alignment Institute ein Begleitevent zur Ausrichtung von Post-AGI-Institutionen.
Was sich laut Duvenaud geändert hat und was nicht
Duvenaud sagte dem Institut, die Diskussion habe sich von der Diagnose hin zu Vorschlägen bewegt. "Es wurden endlich einige relativ konkrete Post-AGI-Szenarien vorgestellt", sagte er. Eines davon war ein unter Embargo stehendes Dokument namens "Plan A", eine Fortsetzung von "AI 2027".
Seine Gesamteinschätzung bleibt düster. "Unter Leuten, die ernsthaft darüber nachgedacht haben, scheint es langfristig keine plausible Welt zu geben, in der etwas, das den heutigen Menschen halbwegs ähnlich ist, das Sagen behält", sagte er.
Die Debatte verfestige sich in zwei Hauptlager: diejenigen, die nicht glauben, dass KI jemals so leistungsfähig wird, und diejenigen, die schließen, dass der Mensch als bedeutsames Wesen erledigt ist. Eine kleinere dritte Gruppe, bei KI-Labors beschäftigte Ökonomen, argumentiert, dass alles gut werde, selbst wenn die AGI die wirtschaftliche Wettbewerbsfähigkeit des Menschen beendet. Der größte verbleibende Dissens sei, so Duvenaud, dass einige Redner die Plausibilität eines radikalen Wandels durch AGI weiterhin nicht akzeptieren.
Aufzeichnungen und wie es weitergeht
Die meisten Vorträge in Berkeley wurden aufgezeichnet, ausgewählte Videos stehen auf der Post-AGI-Website bereit. Die Aufzeichnungen der ersten beiden Workshops finden sich auf dem YouTube-Kanal des Schwartz Reisman Institute. Christianos Vortrag im Lighthaven gehört nicht zu den veröffentlichten, doch er hält drei öffentliche Vorträge bei den Hinton Lectures 2026 in Toronto vom 9. bis 11. November, die kostenlos online übertragen werden.
Ein vierter Workshop ist nicht bestätigt. "Wir haben inzwischen die meisten Redner zu Gast gehabt, auf die wir uns wirklich gefreut haben", sagte Duvenaud. "Die nächste Runde könnte stärker politiknah ausfallen, aber derzeit ist nichts in Planung."
Vorerst hat die Reihe Ökonomen, Politikwissenschaftler und Technologen rund um die Frage versammelt, doch nach Aussage ihres Organisators bislang keine plausible Darstellung einer erstrebenswerten Zukunft hervorgebracht.
Schwartz Reisman Institute: Searching for stable futures: Duvenaud convenes third post-AGI workshop
