Scale und Singapur starten Benchmark für juristisches KI-Schlussfolgern

Scale AI und Singapurs Infocomm Media Development Authority haben SG-LegalClarify vorgestellt. Der Benchmark prüft, wie gut KI-Modelle über das Recht Singapurs schlussfolgern und erkennen, wann sie weitere Informationen benötigen. Bewertet werden 19 Modelle anhand von 1.860 Rechtsszenarien aus 10 Bereichen des singapurischen Rechts.
- SG-LegalClarify testet 19 KI-Modelle anhand von 1.860 Rechtsszenarien aus Singapur.
- Der Benchmark deckt 10 Rechtsbereiche ab und umfasst Fälle mit unvollständigen Informationen.
- Mit Websuche erfüllte das leistungsstärkste Modell 77,8 % der verbindlichen Kriterien.
- Nach dem Stellen aller relevanten Fragen kamen die Modelle in 55,6 % der Tests zum richtigen Ergebnis.
- Scale plant, einen öffentlich zugänglichen Teil für Forschung und unabhängige Analysen zu veröffentlichen.
Juristisches Schlussfolgern über einfache Antworten hinaus testen
SG-LegalClarify wurde als erste Forschungsinitiative im Rahmen der Zusammenarbeit von Scale mit IMDA entwickelt. Im Mittelpunkt steht ein Problem, das herkömmliche juristische Bewertungen möglicherweise nicht erfassen: Nutzer liefern in der Praxis oft unvollständige Informationen. Ein KI-Assistent muss daher relevante Fakten erkennen und Fragen stellen, bevor er eine Antwort gibt.
Der Benchmark umfasst 1.100 originale Fragen, die von qualifizierten Juristen mit Fachkenntnissen im singapurischen Recht verfasst wurden. Die Fragen decken unter anderem Strafrecht, Arbeitsrecht, Immobilienrecht, Familienrecht und Gerichtsverfahren ab. Bei 760 Fragen fehlen absichtlich Informationen, die für die Ermittlung der richtigen Antwort erforderlich sind. Jede dieser Fragen wird mit einer Version ergänzt, die die fehlenden Fakten enthält. So entstehen 1.860 Bewertungsszenarien.
Die Modelle können einen simulierten Nutzer nach fehlenden Details fragen. Anschließend vergleicht der Benchmark ihre Leistung, wenn die Fakten erst ermittelt werden müssen, mit ihrer Leistung, wenn dieselben Informationen von Anfang an vorliegen.
Websuche verbesserte Ergebnisse, Lücken blieben jedoch
Ein aus drei KI-Modellen bestehendes Richtergremium, das durch den Vergleich mit Bewertungen menschlicher Experten ausgewählt wurde, bewertet die Antworten anhand von 12.546 von Experten erstellten Bewertungskriterien. Die Kriterien messen die Erkennung relevanter Fragen, den Abruf von Rechtsnormen, die Anwendung des Rechts auf konkrete Fakten und das abschließende Ergebnis.
Laut Scale erfüllte das leistungsstärkste Modell ohne Websuche 69,8 % der verbindlichen Bewertungskriterien. Der Durchschnitt aller 19 Modelle lag bei 53,8 %. Mit Websuche stieg der Durchschnitt auf 63,0 %, während das leistungsstärkste Modell 77,8 % erreichte.
Der Abruf von Rechtsnormen war eine besondere Schwäche. Selbst mit Webzugriff erfüllten die Modelle nur 56,5 % der anwendbaren Kriterien für den Abruf von Rechtsnormen. Laut Scale versäumten es die Modelle außerdem in etwa 39 % der Szenarien mit fehlenden Fakten, klärende Fragen zu stellen. In etwa 28 % der Szenarien, in denen genügend Informationen vorlagen, stellten sie unnötige Fragen. Im Durchschnitt fragten sie nach etwa 39 % der relevanten Fakten, die von Rechtsexperten ermittelt worden waren.
Fragen zu stellen führte nicht automatisch zu einem richtigen Ergebnis. In Websuche-gestützten Tests mit fehlenden Fakten kamen Modelle, die nach jedem relevanten fehlenden Fakt fragten, in 55,6 % der Fälle zum richtigen juristischen Ergebnis. In 32,1 % kamen sie zu einem falschen Ergebnis und in 12,3 % gaben sie kein Ergebnis an.
Warum eine lokale KI-Bewertung wichtig ist
Scale zufolge bietet Singapur einen besonderen Testfall, weil sein Rechtssystem auf dem englischen Common Law basiert und zugleich singapurspezifische Gesetze und Grundsätze umfasst. Ein Modell, das mit allgemeinen Konzepten des Common Law vertraut ist, kann dennoch eine falsche Antwort geben, wenn es Unterschiede zum Recht Singapurs übersieht.
Das Unternehmen erklärte, SG-LegalClarify zeige, warum Regierungen Möglichkeiten benötigen, KI-Systeme unabhängig anhand ihrer eigenen Gesetze, Institutionen und Standards zu bewerten. Der Benchmark ist das erste Ergebnis der im Juli 2026 angekündigten Zusammenarbeit, die außerdem Arbeiten zu agentischer KI, Methoden zur Modellbewertung und KI-Sicherheit umfasst.
Scale plant, einen öffentlich zugänglichen Teil des Benchmarks für weitere Forschung und unabhängige Analysen zu veröffentlichen. Obwohl sich SG-LegalClarify auf das Recht Singapurs konzentriert, könnte der Ansatz laut Scale anderen Ländern als Vorbild dienen, um KI-Systeme anhand nationaler Anforderungen zu bewerten.
Scale AI: Scale and IMDA Launch First AI Benchmark Under MOU


