Harvey Graph: Juristische KI-Agenten bekommen Mandatskontext, bevor sie loslegen

Warum der Kontext über die Qualität von Agenten entscheidet

Harvey argumentiert, dass der Unterschied zwischen Agenten mit besser werdenden Modellen bei der Ausführung juristischer Aufgaben vor allem davon abhängt, was sie vor dem Start wissen: das Mandat, die Dokumente, Präzedenzfälle, Mandantenpräferenzen und die Arbeitsweise eines Teams. Das Unternehmen erklärt, es teste neue Modelle bei agentischer juristischer Arbeit in Harvey LAB, und die Ergebnisse zeigten, wie weit die Fähigkeiten der Modelle fortgeschritten seien.

Juristische Arbeit ist laut Harvey stark von Beziehungen geprägt. Ein einzelner Kreditvertrag kommt mit Entwürfen, Änderungen und Side Letters, und ein Agent muss wissen, welche Fassung maßgeblich ist, bevor er irgendeine Frage dazu beantwortet. Ein Befund aus einer Due-Diligence-Prüfung kann von einer Change-of-Control-Klausel, der darin genannten Gegenpartei und dem Zeitplan der Transaktion abhängen. Ohne Graph, so Harvey, versuchen Agenten bei jeder Aufgabe, diese Zusammenhänge aus Rohdateien neu zu rekonstruieren. Flaches Retrieval, das Textabschnitte nach Ähnlichkeit ordnet, finde Passagen statt Beziehungen, sodass Agenten Zeit und Tokens darauf verwenden, immer wieder dieselben Entitäten und Querverweise aufzuspüren.

Die Schwierigkeit liege darin, so das Unternehmen, dass die Daten einer Kanzlei nicht von selbst anzeigen, wie sie zusammenhängen. Nichts in einem Dokument besagt, dass es der vierte Entwurf einer später ersetzten Vereinbarung ist oder dass ein darin zitierter Fall im vergangenen Jahr aufgehoben wurde. Diese Verbindungen müssten abgeleitet, an der Quelle überprüft und über Millionen von Dokumenten hinweg aktuell gehalten werden, und zwar unter Beachtung bestehender Berechtigungen und ethischer Schranken (Ethical Walls).

Was Harvey Graph heute enthält

Harvey Graph ist die Bezeichnung für die Kombination spezialisierter Graphen, einschließlich solcher, die noch in Entwicklung sind. Nutzer müssen ihn weder aktivieren noch verwalten, und die Graphen folgen automatisch den Governance- und Sicherheitseinstellungen eines Space. Heute gibt es zwei Komponenten:

• Knowledge Graph: eine strukturierte Karte der US-Rechtsprechung (US Case Law) sowie der Beziehungen und Zitate, die sie verbinden.
• Context Graph: eine Karte pro Space, die zeigt, wie Mandate, Daten und Dokumente aus Vaults und Integrationen zusammenhängen.

Für die US-Rechtsprechung habe Harvey den Knowledge Graph über den gesamten Bestand aufgebaut: Millionen von Entscheidungen aus allen Bundesbezirksgerichten und Berufungsgerichten sowie allen 50 Bundesstaaten. Dabei sei extrahiert worden, wer wen zitiert, wie ein Fall behandelt wurde und wo eine Argumentationslinie trägt oder bricht. Der Harvey-Agent ruft dann Rechtsquellen ab, folgt Zitaten, prüft, wie diese Fälle behandelt wurden, und gleicht seine eigene Arbeit mit der Fragestellung ab. Der Spaces-Graph kam mit der Veröffentlichung von Harvey II in diesem Monat.

Harvey verknüpft den Graphen zudem mit dem Gedächtnis (Memory). Das Unternehmen erklärt, das System lerne Formulierungsstil, Zitiergewohnheiten und Hausregeln, und das Gedächtnis solle künftig auch auf Spaces übertragen werden, damit sich Mandatskontext mit der Zeit aufbaut. Jede Erinnerung bleibe laut Harvey transparent, nachvollziehbar und unter Kontrolle des Nutzers.

Erste Ergebnisse der Auswertung

Harvey führte Experimente mit Legal Agent Bench durch. Für jede Aufgabe prüfte ein Agent zunächst alle Dokumente eines Mandanten-Mandats und erstellte einen Graphen aus Entitäten und Beziehungen, etwa Parteien, Daten, Status als Entwurf oder ausgefertigte Fassung und welche Versionen zum selben Vertrag gehören. Das Unternehmen verglich Agenten mit und ohne Context Graph mit dem Standard-Bewertungsaufbau von LAB. Der Agent mit Graph verbesserte die Bestehensquote nach Rubric um bis zu 30 % und senkte die Kosten pro Aufgabe um bis zu ca. 50 %.

In einer Aufgabe zum Kanzleiwissen sollte der Agent die jüngste besicherte Finanzierung der Kanzlei finden und die ausgefertigten Kredit- und Sicherungsverträge als Präzedenzfälle für eine neue Fazilität abrufen. Auf Basis von Rohdateien durchsuchte der Agent nacheinander mehrere Dateien, sah sich viele Mandate an und wählte den falschen Präzedenzfall, womit er 0 % der Rubric-Kriterien erfüllte. Mit dem Context Graph fand er sofort das passende Mandat samt ausgefertigter Verträge und erreichte 75 %.

Harvey verwies außerdem auf eine Umfrage nach der allgemeinen Verfügbarkeit des Nutzergedächtnisses im vergangenen Monat: 93 % der Befragten sagen, Memory mache Harvey nützlicher, und 50 % geben an, nun weniger Kontext wiederholen zu müssen. Das Unternehmen bezeichnet dies als frühe Ergebnisse und kündigt an, weitere zu veröffentlichen, sobald die Experimente in den Produktivbetrieb übergehen.

Was Nutzer als Nächstes erwartet

Harvey sagt, die Investition sei bei Weitem nicht abgeschlossen. In den kommenden Monaten plant das Unternehmen die Einführung von Precedent Flags und Cite Checking für US-Rechtsprechung, die Nachverfolgung der Rechtsentwicklung über verschiedene Rechtsquellen hinweg, eine neue Oberfläche für die Rechtsrecherche, die darauf ausgelegt ist, Zusammenhängen zu folgen, sowie die Möglichkeit für Kanzleien, auf ihren Dokumenten eine eigene juristische Ontologie zu definieren.

Für Nutzer werde die sichtbare Veränderung laut Unternehmen ein Assistent sein, der vorab weniger nachfragt und zugleich präzise Arbeit liefert, die sich anhand von Quellenangaben überprüfen lässt. Harvey vertritt die Ansicht, dass die nächsten Fortschritte bei juristischer KI nicht allein von einem klügeren Modell kommen werden, sondern davon, was ein Agent weiß, bevor man ihn fragt.