Redwood Research drängt auf schnellere Fortschritte bei konzeptuellem Denken von KI

Was Redwood unter konzeptuellem Denken versteht

Redwood Research definiert konzeptuelles Denken grob als Aufgaben, die der Philosophie ähneln: Sie sind nicht einfach überprüfbar, und Fortschritt hängt von informellem, a priori erfolgendem Schlussfolgern und Argumentieren ab. Die Autoren argumentieren, dass Alignment und andere wichtige Arbeiten besonders ausgeprägte Fähigkeiten dieser Art erfordern.

Der Beitrag nennt Probleme, die aus Sicht der Autoren erhebliche konzeptuelle Anteile haben. Dazu zählen die Entscheidung, welche Forschungsrichtungen innerhalb der KI-Sicherheit Vorrang haben sollten, etwa wie Scalable Oversight und Control gegeneinander abzuwägen sind, sowie die Frage, was das eigentliche Ziel beim Alignment von ASI sein sollte. Hinzu kommen die Modellierung von Risiken durch Misalignment und AGI, die Frage, ob Korrigierbarkeit (Corrigibility) eine gute Eigenschaft für KI ist und wie sie sich operationalisieren lässt, und die Einschätzung, wie wahrscheinlich ein Trainingsaufbau Scheming hervorbringt. Auf der Liste stehen außerdem die Sicherstellung, dass ASI vernünftig über Entscheidungstheorie nachdenkt, und die Frage, wie KI reguliert werden sollte. Redwood fügt hinzu, dass die meisten dieser Herausforderungen nicht rein konzeptuell sind und auch andere Fähigkeiten verlangen.

Warum der Zeitpunkt laut Redwood zählt

Der erste Teil der Argumentation lautet: Es ist wichtig, wie bald KI gut im konzeptuellen Denken wird. Redwood zufolge haben Aufgaben der KI-Forschung und -Entwicklung weniger und weniger entscheidende konzeptuelle Komponenten, weil sie näher an der Überprüfbarkeit liegen oder überprüfbare Stellvertretergrößen haben. Die Gruppe erwartet daher, dass besseres konzeptuelles Denken der Sicherheitsarbeit deutlich mehr nützt als allgemeine Fähigkeiten. Eine Machtübernahme durch KI scheine hauptsächlich an nichtkonzeptuellen Fähigkeiten zu hängen, doch stärkeres konzeptuelles Denken könnte einige für eine Übernahme relevante Fähigkeiten wie Scheming beschleunigen. Eine ausführlichere Diskussion verschiebt die Gruppe auf einen künftigen Beitrag.

Die Autoren nennen zwei grundlegende Wirkungspfade. Der erste besteht darin, KI zur Hilfe bei der Bewältigung der von Superintelligenz aufgeworfenen Probleme heranzuziehen. Wie früh KI bei wichtiger Arbeit helfen kann, gemessen an Takeoff und dem Einsetzen von Scheming, könnte laut Beitrag eine der wichtigsten Determinanten für den Wert der Zukunft sein. Der zweite Pfad: KI wird bald eine sehr große Rolle dabei spielen, die Überzeugungen künftiger Menschen und KIs zu formen. Weil die Ansichten der Gesellschaft zu Fragen wie Entscheidungstheorie und Ethik pfadabhängig sein könnten, sei es entscheidend, ob KI vernünftige Beiträge liefert und die Gesellschaft in philosophisch reflektiertere Richtungen lenkt, argumentiert Redwood.

Warum die Gruppe Beschleunigung für machbar hält

Der zweite Teil der Argumentation: Konzeptuelles Denken lässt sich wahrscheinlich gezielt beschleunigen. Redwood erwartet, dass Modelle standardmäßig deutlich schlechter darin sind, als sie leicht sein könnten, und nennt zwei Gründe. Das Standardtraining werde vermutlich vergleichsweise schlecht auf konzeptuelle Aufgaben generalisieren, da die Autoren erwarten, dass KI-Unternehmen tief in die Intelligenzexplosion hineingehen, indem sie vor allem auf relativ leicht überprüfbaren Aufgaben trainieren. Zudem dürften KI-Unternehmen das Feld vernachlässigen, weil es für KI-Forschung und -Entwicklung deutlich weniger nützlich ist und kaum kommerzielle Anwendungen hat. Selbst wo die zugrunde liegenden Fähigkeiten vorhanden sind, bleiben Modelle laut Beitrag voraussichtlich unterausgeschöpft (underelicited).

Redwood berichtet auch von ersten praktischen Ergebnissen. Nach dem Eindruck der Gruppe aus ihrer anfänglichen Arbeit können einfache Elicitation-Techniken wie Few-Shot-Prompting zusammen mit Training im kleinen Maßstab Modelle auf dem wichtigsten Benchmark für konzeptuelles Denken um drei bis zwölf Monate besser machen. Das entspricht laut Beitrag ungefähr dem Fortschritt der Spitzen-KI über mehrere Monate.

Nebenwirkungen auf Fähigkeiten und nächste Schritte

Die Autoren erwarten, dass Arbeit am konzeptuellen Denken nur geringe Effekte auf allgemeine Fähigkeiten hat, und führen dafür drei Gründe an. Verbesserungen, die die Zeitpläne beschleunigen, seien weniger wahrscheinlich kontrafaktisch, da das eigene Training der KI-Unternehmen sie wahrscheinlich ohnehin hervorbringt. Die Generalisierung innerhalb des konzeptuellen Denkens sei vermutlich unvollkommen, sodass sich Effekte auf zeitplanrelevante Fähigkeiten durch den Fokus auf weniger riskante Bereiche begrenzen ließen. Und weil allgemeine Fähigkeiten alles andere als vernachlässigt sind, wögen die Nachteile ihrer Beschleunigung wahrscheinlich viel weniger schwer als die Opportunitätskosten, diese Arbeit nicht zu leisten.

Redwood sagt, die Gruppe habe eine umsetzungsbereite Agenda, die weitere Mitarbeitende aufnehmen kann, und lädt Interessierte ein, sich zu melden. Folgebeiträge sollen behandeln, wie sich konzeptuelles Denken beschleunigen lässt und auf welche Bereiche man sich konzentrieren sollte. Die Autoren sagen, einige der größten Vorteile könnten darin liegen, die Fähigkeit der Zukunft zu verbessern, mit akausalen Interaktionen umzugehen, überlassen die Einzelheiten aber einem späteren Beitrag.