METR teilt Anthropics Einschätzung eines geringen Misalignment-Risikos, zweifelt aber an den Methoden

Zu welchem Ergebnis METR kommt

METR hat den Abschnitt „Misalignment in high-stakes settings“ von Anthropics Risk Report vom August 2026 geprüft. Anthropics Bericht kommt zu dem Schluss, dass „das Risiko katastrophaler Schäden durch Misalignment [der eigenen] Modelle“ mit Stand 15. Juli 2026 „gering ist“. METRs beste Einschätzung lautet, dass es dem für die im Bericht abgedeckten Modelle zustimmt.

METR erklärt, es halte das Risiko vor allem deshalb für gering, weil es nicht erwarte, dass die untersuchten Modelle über die Fähigkeiten verfügen, durch Misalignment schwer umkehrbare katastrophale Schäden zu verursachen, selbst bei deutlich schwächeren Schutzmaßnahmen. Laut METR könnten die Modelle potenziell katastrophale Handlungen auch ohne die von Anthropic beschriebenen Überwachungs- und Sicherheitsmaßnahmen weder schwer umkehrbar machen noch vor ernsthaften Untersuchungen verbergen. Das deckt sich mit einem Befund aus METRs Frontier Risk Report: Agenten hätten Anfang dieses Jahres womöglich Rogue Deployments aufsetzen können, diese aber nicht so robust gestalten können, dass sie ernsthaften Versuchen, sie aufzuspüren und abzuschalten, standgehalten hätten.

Zudem stützt sich METR nach eigenen Angaben zum Teil darauf, dass seit der Erstveröffentlichung des Berichts mehr als ein Monat vergangen ist, ohne dass es sehr besorgniserregende Nachrichten zu Alignment und Fähigkeiten der untersuchten Modelle gegeben hätte. Dies biete allerdings nur begrenzte Sicherheit.

Zweifel an der Methodik

METR sagt, es sei nicht überzeugt, dass die Methodik des Berichts ein höheres Risiko zuverlässig erkennen würde, falls es eines gäbe. Der Bericht sei sorgfältig geschrieben und vermittle Unsicherheit im Allgemeinen angemessen, aber „weit davon entfernt, Misalignment mit Zuversicht auszuschließen“. Ein stichhaltiges Argument erfordere nach Einschätzung von METR deutlich umfangreichere empirische Arbeit und die Lösung mehrerer offener wissenschaftlicher Probleme.

• Die Benchmarks zu verdeckten Fähigkeiten sind aus Sicht von METR ein schlechter Stellvertreter dafür, ob Modelle Anthropics internes Nutzungsüberwachungssystem umgehen können. Sie erfassen Umgehungswege nicht, etwa den Monitor davon zu überzeugen, dass eine schädliche Handlung legitim sei. Solche Wege seien inzwischen in realen Vorfällen demonstriert worden, so METR.
• METR meint, Anthropic räume einige dieser Einschränkungen ein, aber nicht deutlich genug.
• Jüngste Vorfälle untergraben mehrere Argumente des Berichts. Einige lassen sich demnach gut als „unbekanntes schwerwiegendes kontextabhängiges Misalignment“ beschreiben, ein Fehlermodus, den der Bericht für „unwahrscheinlich“ hält.

Anthropics Argumentation und die abgedeckten Modelle

Anthropics Abschnitt argumentiert, das Misalignment-Risiko sei für die vor dem 15. Juli 2026 intern oder extern eingesetzten Modelle „gering“, darunter Mythos 5 und ein nur intern genutztes Modell namens „Model 2“. METR weist darauf hin, dass diese Einstufung höher ausfällt als in Anthropics früheren Risikoberichten, die ähnliche Risiken als „sehr gering“ bewerteten. Anthropic räumt zudem „erhebliche Unsicherheit“ über das Gesamtniveau des Risikos ein.

Die Argumentation stützt sich auf acht Risikopfade, darunter breit angelegtes Sandbagging bei sicherheitsrelevanter Forschung und Entwicklung, Code-Backdoors für künftige fehlausgerichtete Modelle, die Vergiftung der Trainingsdaten künftiger Modelle, Selbst-Exfiltration, dauerhafte interne Rogue Deployments und die Untergrabung von Entscheidungen innerhalb großer Regierungen. Hinzu kommen acht zentrale Annahmen. Die erste, dass Modelle wahrscheinlich keine starken verdeckten Fähigkeiten besitzen, bildet laut Anthropic die Grundlage für mehrere der anderen.

Empfehlungen und Transparenz

METR gibt zwei zentrale Empfehlungen. Erstens sollte Anthropic seine Überwachungssysteme durchgängig per Red-Teaming testen, etwa in einer Übung, bei der ein gut ausgestattetes Red Team versucht, unentdeckt ein internes Rogue Deployment zu starten. Zweitens sollte das Unternehmen die Risikopfade um KI-Systeme erweitern, die sicherheitsrelevante Entscheidungen bei Anthropic untergraben.

Außerdem empfiehlt METR, vier geschwärzte Informationen zu veröffentlichen. Keine davon ändere sein Gesamtfazit, einige hätten aber seine Einschätzung beeinflusst. Beispiele für frühere besorgniserregende Modellverhaltensweisen und die Reaktionsfähigkeit der Überwachungspipeline darauf hätten METR zu der Ansicht gebracht, dass die Risiken von breitem Sandbagging und gezielter Untergrabung sicherheitsrelevanter Forschung und Entwicklung höher seien, als die öffentliche Beweislage nahelegt, und dass Anthropics Überwachungssystem schwächer sei, als die öffentliche Beweislage nahelegt.

Zur Unabhängigkeit erklärt METR, Anthropic hätte die Veröffentlichung untersagen oder beliebige Teile der Prüfung schwärzen können. Es seien keine Schwärzungen vorgenommen und keine Schlussfolgerungen geändert worden, allerdings habe METR nach Anthropics Rückmeldungen kleinere Formulierungen angepasst und die Methodik eines Experiments verbessert. Die Prüfung wird als vergleichsweise leichtgewichtig beschrieben und stützt sich allein auf Anthropics internen Bericht.

Was das bedeutet

Die Prüfung legt nahe, dass die aktuelle Einstufung als geringes Risiko maßgeblich davon abhängt, wie leistungsfähig die Modelle heute sind. METR befürchtet, dass mit wachsenden Fähigkeiten die Belege des Berichts zu Alignment-Training, Bewertungen und Überwachung womöglich nicht mehr ausreichen, um einen Anstieg des Risikos zu erkennen. Für künftige Prüfungen erwartet METR andere Bedingungen.