OpenAI: Astra for Law führt bei Benchmarks für juristische Intelligenz
OpenAI hat eine aktualisierte Version von Astra for Law veröffentlicht. Dabei handelt es sich um eine GPT-6.2-Astra-Konfiguration, die laut dem Unternehmen bei mehreren Evaluierungen juristischer Intelligenz führend ist. Kunden von ChatGPT Enterprise können nun über das Trusted Access Program Zugriff beantragen, auch über die API.
- Astra for Law ist eine GPT-6.2-Astra-Konfiguration mit einem erweiterten juristischen Suchindex.
- Bei 20,8 % der LAB-AA-Aufgaben erreichte das Modell die volle Punktzahl und lag damit vor GPT-6.2 Astra und Muse Wonder Full.
- OpenAI berichtet im neuesten LAB-AA-Vergleich von 0,03 wesentlichen Halluzinationen pro Aufgabe.
- Der Anteil der Antworten mit voller Punktzahl beim Legal Research Bench von Vals AI stieg von etwa 46 % auf 53,8 %.
- Kunden von ChatGPT Enterprise können über das Trusted Access Program und die API Zugriff beantragen.
Eine juristische Konfiguration auf Basis von GPT-6.2 Astra
Astra for Law kombiniert GPT-6.2 Astra mit einem erweiterten juristischen Suchindex sowie Anweisungen zur Recherche von Fragen, zur Gewichtung von Präzedenzfällen und zum Verfassen von Antworten. OpenAI stellte die Konfiguration im September einer kleinen Gruppe von Kanzleien vor, darunter Cooley, Ropes & Gray und Sullivan & Cromwell.
Seitdem hat das Forschungsteam des Unternehmens den juristischen Suchindex nach eigenen Angaben um mehr als ein Drittel erweitert und die juristische Schlussfolgerung verbessert. Der Index umfasst nun mehr als 310 Millionen URLs. Hinzugekommen sind über 80 Millionen neue URLs. Er deckt mehr als 99,9 % der veröffentlichten US-amerikanischen Präzedenzrechtsprechung ab. Außerdem enthält er Material aus internationalen Rechtsordnungen wie dem Vereinigten Königreich, Australien und Kanada.
OpenAI zufolge erreichte die aktualisierte Konfiguration bei LAB-AA-Tests fast 40 % häufiger die volle Punktzahl als GPT-6.2 Astra, das in diesem Vergleich den zweiten Platz belegte.
Spitzenwerte bei Tests für juristische Agenten und Schriftsätze
LAB-AA von Artificial Analysis bewertet, ob ein Modell juristische Aufgaben von Anfang bis Ende erledigen kann. Der Test umfasst 120 Aufgaben aus 24 Rechtsgebieten, darunter das Erstellen von Gliederungen für Zeugenvernehmungen, die Prüfung gewerblicher Mietverträge und die Entwicklung von Strategien für Eigentümerwechsel bei Übernahmen. Für die volle Punktzahl muss eine Antwort alle Anforderungen erfüllen, ohne eine wesentliche Behauptung aufzustellen, die nicht durch die Quelldokumente belegt ist.
Astra for Law belegte den ersten Platz und erreichte bei 20,8 % der Aufgaben die volle Punktzahl. GPT-6.2 Astra kam auf 15,0 %, Muse Wonder Full auf 13,1 %. Laut OpenAI erzielte Astra for Law dieses Ergebnis mit 54 % weniger Ausgabe pro Aufgabe als Muse Wonder Full. Im Durchschnitt waren es rund 64.000 Ausgabetoken gegenüber 139.000.
Das Unternehmen erklärt außerdem, Astra for Law habe sich im neuesten LAB-AA-Vergleich mit GPT-6 den niedrigsten Anteil wesentlicher Halluzinationen geteilt: 0,03 pro Aufgabe. Claude Opus 5.5 verzeichnete 0,59 wesentliche Halluzinationen pro Aufgabe. Bei Aufgaben, die alle Bestehenskriterien erfüllten, hatte Astra for Law keine wesentlichen Halluzinationen.
Bei LAB: USCL, einem von Harvey und Grubel mitentwickelten Benchmark für die Recherche und das Verfassen von Schriftsätzen in echten US-Bundesfällen, erzielte Astra for Law in beiden Testversionen eines der besten Ergebnisse. Wenn die Modelle das Recht selbst recherchierten, erreichte Astra for Law 1.844 Punkte gegenüber 1.817 für Opus 5.5. Wurden ihnen die Akte und die vom ursprünglichen Anwalt zitierten Präzedenzfälle vorgelegt, lagen die Ergebnisse mit 1.883 und 1.882 praktisch gleichauf.
Bessere Rechercheleistung und breiterer Zugang
OpenAI berichtet, dass sich die Leistung von Astra for Law auch beim Legal Research Bench von Vals AI verbessert hat. In der Evaluierung des Unternehmens im September erreichte das Modell bei etwa 46 % der Fragen die volle Punktzahl. In der Evaluierung von Vals AI am 16. November erhielt es bei 112 von 208 Fragen die volle Punktzahl, also bei 53,8 %. Einschließlich Teilpunkten erreichte es 90,9 % der verfügbaren Punkte.
OpenAI wertet den Anstieg bei Antworten mit voller Punktzahl um etwa acht Prozentpunkte innerhalb von weniger als zwei Monaten als Beleg für Fortschritte bei der juristischen Recherche, einem zentralen Schwerpunkt der aktualisierten Veröffentlichung. Das Unternehmen erklärt, Astra for Law auf Grundlage des Feedbacks von Praktikern kontinuierlich bei Einstellungen und Anweisungen zu verfeinern und zugleich Werkzeuge wie den juristischen Suchindex zu verbessern.
Alle Kunden von ChatGPT Enterprise können über das Trusted Access Program Zugriff beantragen, auch über die API. Die Veröffentlichung bietet Rechtsteams eine Modellkonfiguration, die speziell auf juristische Recherche, die Bewertung von Rechtsquellen und das Verfassen längerer juristischer Texte ausgelegt ist. Die Benchmark-Ergebnisse bleiben jedoch Angaben von OpenAI und den Organisationen, die die Evaluierungen durchgeführt haben.
OpenAI: Astra for Law leads in legal intelligence

