Scale AI stellt DualChem vor: Benchmark prüft, wie LLMs mit Dual-Use-Fragen zur Chemie umgehen

28. Oktober 2026Quelle: Scale AI

Scale AI hat mit DualChem einen Benchmark vorgestellt, der misst, ob große Sprachmodelle bei Chemiefragen helfen, die sowohl legitimer Forschung als auch schädlichem Missbrauch dienen könnten. In Tests mit 31 Spitzenmodellen stellte das Unternehmen fest, dass Modelle eine Frage häufig als Dual-Use einstufen und sie dennoch beantworten.

Das Wichtigste in Kürze

DualChem umfasst 600 von Fachleuten erstellte Dual-Use-Chemiefragen, die von Gutachtern auf Promotionsniveau geprüft wurden.
Scale AI testete 31 Spitzenmodelle: Die durchschnittliche Genauigkeit lag bei rund 50 Prozent, die besten Modelle erreichten etwa 67 Prozent.
Mit LLM-Unterstützung steigerten sich Teilnehmende mit Bachelorabschluss in Chemie laut Scale von rund 32 auf rund 48 Prozent.
Modelle stuften Fragen oft als Dual-Use ein und beantworteten sie trotzdem; Risikoerkennung und Verweigerung hingen nur schwach zusammen.
Der Benchmark entstand aus einer im Februar 2025 mit dem NIST CAISSI geschlossenen Vereinbarung.

Was DualChem misst

Laut Scale testen die meisten bestehenden KI-Benchmarks allgemeine Fähigkeiten, etwa die Genauigkeit beim Schlussfolgern, die Leistung beim Programmieren oder das Abrufen von Faktenwissen. Das Unternehmen argumentiert, dass sich damit nicht erfassen lasse, wie sich ein Modell in mehrdeutigen Situationen mit hohem Risiko verhält. DualChem soll genau das messen: ob ein Modell dieselbe Antwort gibt, unabhängig davon, ob sie legitime wissenschaftliche Arbeit oder schädliche Aktivitäten unterstützt.

Der Benchmark besteht aus 600 von Fachleuten erstellten Fragen, die vor der Aufnahme von Gutachtern auf Promotionsniveau geprüft wurden. Sie decken mehrere Bereiche der Laborchemie ab: Moleküldesign, Syntheseverfahren, Aufreinigung, Validierung und Informationsmanagement. Chemieexperten, die meisten mit fortgeschrittenen Abschlüssen, formulierten die Fragen so, dass sie eine realistische Dual-Use-Mehrdeutigkeit widerspiegeln. Scale gibt an, auf synthetische oder explizit adversariale Prompts verzichtet zu haben, da diese nach Ansicht des Unternehmens oft nicht abbilden, wie echte Chemiefragen gestellt werden.

Scale beschreibt DualChem als einen der ersten Benchmarks, der untersucht, ob Sprachmodelle in solchen Szenarien Hilfe leisten und wo aktuelle Schutzmaßnahmen möglicherweise nicht ausreichen. In der Praxis müsse dies, so das Unternehmen, gegen das Ziel abgewogen werden, nützliche Anwendungen nicht zu behindern.

Zusammenarbeit mit der Regierung

DualChem ist der erste Benchmark, der aus einer Collaborative Research and Development Agreement hervorgeht, die Scale im Februar 2025 mit dem NIST Center for Advancing Innovation and Standards for Super Intelligence (CAISSI) geschlossen hat. Scale zufolge verband das Unternehmen seine eigene Evaluierungsexpertise mit Beiträgen von CAISSI und Fachleuten der US-Regierung, die den Umfang und die Taxonomie der Fragen mitgeprägt haben. Die Ergebnisse sind in einem Forschungspapier mit dem Titel "DualChem: Measuring LLM Uplift and Dual-Use Risk Awareness in Chemistry" beschrieben.

Zentrale Ergebnisse

Scale berichtet, dass Spitzenmodelle bei Dual-Use-Chemiefragen stark abschneiden. Die durchschnittliche Genauigkeit der 31 getesteten Modelle liegt bei rund 50 Prozent, die besten erreichen etwa 67 Prozent.

Das Unternehmen untersuchte außerdem den Leistungszuwachs bei Menschen. Teilnehmende mit Bachelorabschluss in Chemie verbesserten sich bei Dual-Use-Chemieaufgaben mit Unterstützung durch ein LLM von rund 32 auf rund 48 Prozent. Scale spricht von einer bedeutsamen Fähigkeitslücke mit möglichen Folgen in der Praxis.

Risiko erkannt, aber keine Verweigerung: Die Modelle identifizierten Fragen häufig als potenziell Dual-Use, lieferten aber in den meisten Fällen dennoch substanzielle Antworten. Über alle getesteten Modelle hinweg schienen Risikoerkennung und Verweigerungsverhalten nur schwach zusammenzuhängen.
Abweichungen von Fachleuten: Sollten die Modelle Schweregrade für von Experten annotierte Beispiele vergeben, die als harmlos oder schädlich eingestuft waren, stimmten ihre Vorhersagen nur schwach mit dem menschlichen Urteil überein und schwankten von Fall zu Fall erheblich.

Scale folgert, dass aktuelle Modelle zwar oberflächliche Sensibilität erkennen, aber nicht abwägen, was eine Frage tatsächlich zu einer Dual-Use-Frage macht. Zudem deuteten die Ergebnisse darauf hin, dass Schutzmechanismen, die allein auf Verweigerung setzen, bei komplexen Dual-Use-Szenarien womöglich nicht genügen.

Was das für die Aufsicht bedeutet

Scale versteht den Benchmark als Werkzeug für Institutionen, die Spitzenmodelle bewerten. Unabhängige Prüfungen könnten Politik und Beschaffungsstellen helfen zu verstehen, wie sich Modelle in mehrdeutigen Dual-Use-Szenarien verhalten und wo Schutzmaßnahmen an Grenzen stoßen.

Das Unternehmen fordert zudem öffentlich-private Partnerschaften für gemeinsame Evaluierungsmethoden, die die institutionelle Aufsicht unterstützen, darunter adversariale Belastungstests, Robustheitsanalysen bei Verteilungsverschiebungen und Messansätze, die sich an den Bedürfnissen der Prüfer orientieren. Scale Labs kündigt an, weiterhin mit Regierungen und nationalen KI-Sicherheitsinstituten bei der Evaluierung und dem Einsatz von Spitzen-KI zusammenzuarbeiten. Ziel sei es zu klären, wie sich Modelle in unterschiedlichen Kontexten verhalten und welche Schutzvorkehrungen, Tests und Evaluierungsmechanismen einen verlässlichen Einsatz stützen.