Harvey stellt Tools zur Überprüfung KI-generierter Rechtsarbeit vor

Harvey entwickelt eine Reihe von Prüf- und Verifizierungstools, die Anwälten zeigen sollen, wie die KI des Unternehmens juristische Arbeit erstellt hat, welche Quellen sie nutzte und was möglicherweise übersehen wurde. Nach Angaben des Unternehmens ist dieser Ansatz nötig, weil Agenten größere Aufgaben übernehmen, darunter die Prüfung von Zehntausenden Dokumenten und die Arbeit mit vollständigen Datenräumen.
- Harvey zufolge wird die Verifizierung zum Engpass, da Legal AI größere Aufgaben übernimmt.
- Cite Check soll später in diesem Jahr in den Early Access kommen.
- Das Tool prüft Zitate und Pin Cites anhand von Entscheidungen in US Case Law.
- Harvey plant Hinweise zum Prüfungsumfang, die zeigen, was Agenten gelesen haben und was nicht.
- Das Unternehmen erweitert Prüfprotokolle und Zitate auf seine Dokumente und Arbeitsabläufe.
Cite Check automatisiert die Prüfung von Zitaten
Harvey zufolge wird die Verifizierung zum Engpass, weil Anwälte für die von ihnen unterzeichnete Arbeit verantwortlich bleiben, selbst wenn der erste Entwurf von Harvey erstellt wurde. Ein Due-Diligence-Memo kann professionell wirken und dennoch falsch sein, wenn ein Agent eine Änderung übersehen oder einen Nebenvertrag nie geöffnet hat.
Das Unternehmen teilt seine Verifizierungsstrategie in drei Bereiche ein: Prüfungen, die Harvey selbst durchführen kann, Transparenz über die Arbeit und Entscheidungen hinter einer Antwort sowie eine Dokumentation darüber, wer das Ergebnis geprüft und freigegeben hat.
Ein geplantes Tool ist Cite Check, das Harvey zufolge später in diesem Jahr in den Early Access kommt. Nutzer können einen Schriftsatz hochladen. Anschließend findet das Tool dessen Zitate und prüft jedes Zitat sowie jede Pin Cite anhand der vollständigen Entscheidung in US Case Law. Jedes Zitat wird als „verifiziert“, „Prüfung erforderlich“ oder „Problem gefunden“ gekennzeichnet.
Die Ergebnisse erscheinen als Prüfkarten im Schriftsatz. Vorgeschlagene Korrekturen werden als nachverfolgte Änderungen angezeigt, die Anwälte annehmen oder ablehnen können. Harvey zufolge entfällt damit die Notwendigkeit, jedes verifizierte Zitat manuell anzuklicken. Die Stärke des juristischen Arguments bleibt jedoch der menschlichen Beurteilung überlassen.
Das Unternehmen will zeigen, was Agenten getan und übersehen haben
Harvey zufolge können Zitate allein nicht zeigen, ob ein Agent die richtigen Dateien durchsucht, die richtigen Begriffe ausprobiert oder eine wichtige Ermessensentscheidung getroffen hat. Die aktuellen Überlegungen des Unternehmens sehen Statusangaben vor, die zeigen, welche Dateien Harvey durchsucht, wonach es gesucht hat und was es während der Arbeit liest.
Das Unternehmen plant, Antworten um kurze Hinweise zum Prüfungsumfang zu ergänzen. Sie sollen erklären, welche Dokumente Harvey vollständig gelesen hat, nach welcher Formulierung es gesucht hat und welche Dateien es nicht lesen konnte. Harvey nennt als Beispiel einen Hinweis mit folgendem Wortlaut: „Alle 212 Verträge vollständig gelesen, einschließlich Änderungen und Nebenverträgen. 3 passwortgeschützte Dateien konnten nicht geöffnet werden.“
Harvey zufolge bevorzugten frühe Designpartner eine solche verständliche Darstellung gegenüber einer prozentualen Abdeckung. Das Unternehmen will außerdem Ermessensentscheidungen markieren, damit Prüfer diese zuerst bearbeiten können. Harvey prüft einen Ablauf, bei dem das System bei einer solchen Entscheidung pausiert, den Anwalt um eine Entscheidung bittet und die Antwort dokumentiert, bevor es fortfährt.
Für Prozessanwälte entwickelt Harvey einen Fakten-Graphen, der Fakten extrahiert, mit Quellseiten verknüpft und nach Streitfrage, Person und Ereignis ordnet. Außerdem soll er zitierte Chronologien erstellen und Widersprüche markieren. Anwälte können jeden vorgeschlagenen Fakt annehmen, bearbeiten oder ablehnen.
Prüfungen folgen dem Dokument und dem Mandat
Harvey argumentiert, dass juristische KI eine Dokumentation ähnlich der Versionskontrolle benötigt. Änderungen sollen zeigen, wer sie wann vorgenommen hat, und ein Teammitglied soll die Arbeit prüfen können, bevor sie weitergegeben wird. Review Tables ermöglichen Teams bereits, Zeilen zuzuweisen, Zellen zu markieren und einzelne Zellen als verifiziert zu kennzeichnen. Ein Aktivitätsprotokoll hält die Aktionen fest.
In Spaces können Anwälte Aufgaben Kollegen oder Agenten zuweisen und einen Prüfer bestimmen, der benachrichtigt wird, sobald die Arbeit bereit ist. Mit Command Center können Administratoren gemeinsam genutzte Agenten freigeben, steuern, wer sie verwenden darf, und sehen, wie sie eingesetzt werden.
Nach Angaben des Unternehmens findet ein großer Teil des Prüfungsprozesses weiterhin außerhalb dieser Tools statt, etwa in Word-Entwürfen, die per E-Mail an Partner geschickt werden, oder in Kommentaren ohne direkte Verbindung zu den Quellen. Harvey will Kommentare in den von ihm erstellten Dokumenten ermöglichen. Anwälte sollen Harvey dann zu einer Klausel markieren und neben dem Text eine Antwort sowie einen Änderungsvorschlag erhalten können.
Harvey plant außerdem, Zitate auf jeden von ihm erstellten Dateityp auszuweiten. Nach Angaben des Unternehmens befinden sich Zitate derzeit in Threads und Review Tables. Word-Exporte können einen Quellenabschnitt enthalten, und Excel-Dateien können einzelne Zellen zitieren.
Für Nutzer würden die geplanten Änderungen die Prüfung KI-gestützter juristischer Arbeit erleichtern, ohne die Verantwortung der Anwälte für Entscheidungen zu beseitigen, die nicht automatisch überprüft werden können. Für Kanzleien könnten sie eine klarere Dokumentation darüber liefern, was ein Agent geprüft hat, was ein Mensch verifiziert hat und wie ein Dokument seine endgültige Form erreicht hat.


