Harvey's LAB: USCL testet, ob KI-Modelle Schriftsätze für Zivilprozesse verfassen können

Was LAB: USCL misst

LAB: USCL ist eine Erweiterung von Harveys Legal Agent Bench. Nach Angaben von Harvey bringt das Framework neue Ansätze zum Verständnis des Modellverhaltens: Die Umgebungen basieren auf echten, öffentlichen Daten, die das Free Law Project gesammelt hat, und die von den Modellen verfassten Schriftsätze werden im direkten Vergleich bewertet.

Harvey berichtet, die Schriftsätze der besten Modelle seien "substantially closer to the high bar for filing with a court", also deutlich näher an der hohen Hürde für eine Einreichung bei Gericht, und markierten einen erheblichen Fortschritt bei einer Aufgabe, die komplexes juristisches Denken und Argumentieren verlangt. Zudem will das Unternehmen die Forschung in diesem Bereich gemeinsam mit Grubel AI zugänglicher machen.

Warum das Verfassen von Schriftsätzen ein harter Test ist

Ein Schriftsatz (Brief) ist die schriftliche Argumentation, die eine Partei bei Gericht einreicht, um dieses zu überzeugen, einem strittigen Antrag stattzugeben. Harvey beschreibt das Verfassen von Schriftsätzen als eine der komplexesten Aufgaben in Prozessverfahren, für die mitunter ein Team von Anwälten mehrere Wochen benötigt. Ein Agent, der dieselbe Arbeit leistet, muss drei Schritte bewältigen:

• Den Stand des Falls erfassen. Dazu gehört die Sichtung der Docket, des offiziellen Verzeichnisses aller Eingaben und Entscheidungen, das in komplexen Fällen Tausende Dokumente umfassen kann.
• Fallrecht recherchieren. Der Agent muss einschlägige frühere Urteile finden und im Zusammenhang mit der übrigen Rechtsprechung lesen, da spätere Entscheidungen ein früheres Urteil einschränken, ändern oder aufheben können. Ein Schriftsatz, der sich auf ein von einem höheren Gericht verworfenes Urteil stützt, gibt die Rechtslage falsch wieder.
• Den Schriftsatz verfassen. Der Agent muss die Recherche zusammenführen, entscheiden, welche Argumente er vorbringt und welche er weglässt, strenge Vorgaben zu Länge und Aufbau einhalten und dafür sorgen, dass jeder Verweis auf die Akte und das Fallrecht korrekt ist.

Harvey betont, die Hürde sei hoch, weil ein Schriftsatz in einer öffentlichen Docket eingereicht wird. Der unterzeichnende Anwalt bestätigt, dass das geltende Recht die Argumente stützt und dass Tatsachenbehauptungen durch Beweise gedeckt sind. Zudem schulden Anwälte dem Gericht Aufrichtigkeit, einschließlich der Offenlegung unmittelbar entgegenstehender maßgeblicher Rechtsquellen. Fehler können zu Sanktionen führen, dazu, dass der Mandant an die Positionen des Schriftsatzes gebunden wird, oder dazu, dass ein Argument endgültig verloren ist, auch in der Berufung.

Umgebungen aus echten Dockets

Für jede Aufgabe wählt Harvey einen tatsächlich bei Gericht eingereichten Schriftsatz aus und lässt das Modell für dieselbe Partei, zum selben Antrag oder zur selben Rechtsfrage und zum selben Zeitpunkt im Verfahren einen Schriftsatz verfassen. Die Umgebungen stammen aus Dockets von Bundesgerichten, die über PACER verfügbar sind. Weil PACER seitenweise Gebühren erhebt, greift die Pipeline auf RECAP zurück, das von der Community aufgebaute Archiv des Free Law Project mit PACER-Dokumenten. Die Abdeckung in RECAP kann ungleichmäßig sein, weshalb Harvey Dockets herausfiltert, die einen eingereichten Schriftsatz sowie die Dokumente enthalten, die diesem Schriftsatz Kontext geben.

Harvey weist darauf hin, dass eine Docket keine vollständige Akte ist. Das meiste Beweismaterial aus der Discovery, etwa Aussageprotokolle, wird nie eingereicht, sofern es nicht einem Antrag beigefügt ist, und sensible Inhalte können versiegelt oder geschwärzt sein. Das Modell erhält also genug, um den Fall zu verstehen, aber nicht alles, was dem Anwalt vorlag.

Anschließend extrahiert das Team alle Fallzitate aus dem eingereichten Schriftsatz und lässt Agenten die zitierten Urteile in CourtListener finden, der Datenbank des Free Law Project mit mehr als 8 Millionen Urteilen. Eine Umgebung wird nur beibehalten, wenn mehr als 95 % der Zitate im Schriftsatz des Anwalts mit dort verfügbaren Urteilen übereinstimmen, sodass das Modell im Wesentlichen mit demselben Fallrecht arbeitet wie der Anwalt.

Einzelstaatliche Gerichte und der U.S. Supreme Court nutzen PACER nicht; Harvey nennt sie als Bereiche für künftige Erweiterungen.

Was das bedeutet

LAB: USCL bietet eine Möglichkeit, juristische KI an echter eingereichter Arbeit statt an synthetischen Aufgaben zu messen. Harveys erster Befund lautet: Einige Frontier-Modelle können inzwischen vollständige erste Entwürfe ohne Hilfe erstellen, doch die verbleibenden Fehlerarten zeigen, dass ein Schriftsatz erst dann einreichungsreif ist, wenn jedes Zitat, jede Darstellung und jede strategische Entscheidung einer Prüfung standhält.