Everlaw-CTO: KI schlägt menschliche Prüfer bei klar definierten Ediscovery-Aufgaben, doch falscher Einsatz birgt Risiken

Vom Wasserfallmodell zur frühen Einschätzung

Christoff beschrieb die Ediscovery als ein Verfahren, das "wie ein Wasserfall funktioniert" habe: Man verhandelt ein Protokoll, übergibt das Material an ein Prüfteam und wartet Wochen oder Monate auf einen Bericht. Dieses lineare Modell stoße an seine Grenzen. Anwältinnen und Anwälte zeigten "deutlich früher im Verfahrensverlauf echtes Interesse" und wollten eine frühe Einschätzung der Risiken, um ihre Strategie auszurichten, etwa ob ein Fall auf einen Prozess oder einen Vergleich zusteuert.

Davon grenzte er die klassische frühe Fallbewertung (Early Case Assessment) ab, bei der es vor allem darum gehe, Material auszusortieren. Was er beschreibt, ziele darauf ab, die Risiken im Inhalt zu verstehen, damit Juristen ihre Strategie darauf stützen können. Laut Christoff können Anwälte so "als engagierterer Partner im gesamten Prozess auftreten", statt Mandanten zu sagen, man wisse in einigen Monaten mehr.

Die Leistungszahlen, die Everlaw nennt

Everlaw sieht die Ersteinschätzung von Dokumenten (First-Pass Review) als klarsten Anwendungsfall, weil sich die Leistung mit etablierten Kennzahlen messen lässt. Laut dem Unternehmen erzielte die Funktion Coding Suggestions über vier Datensätze aus laufenden Rechtsstreitigkeiten hinweg einen durchschnittlichen Recall von 89 Prozent. In einem Datensatz, der einen direkten Vergleich mit der menschlichen Ersteinschätzung erlaubte, erreichte Coding Suggestions einen Recall von 82 Prozent, menschliche Prüfer kamen auf 60 Prozent.

• Eine Kanzlei aus der Am Law 100 setzte Coding Suggestions bei mehr als 126.000 Dokumenten in einer behördlichen Untersuchung ein, erreichte über 90 Prozent Genauigkeit und kodierte den gesamten Bestand in etwa einem Tag. Die gesamte Prüfzeit sank um 50 bis 67 Prozent, und es wurde nur ein Viertel des Personals einer vergleichbaren Managed Review benötigt.
• Orrick, eine internationale Anwaltskanzlei, nutzte das Tool in einem Fall zum geistigen Eigentum und senkte die Kosten der Dokumentenprüfung um mehr als die Hälfte.
• Dinsmore & Shohl kombinierte strategische Suche, Coding Suggestions, Predictive Coding, statistische Validierung und menschliche Prüfung bei 26.000 Verträgen und erreichte eine Recall-Quote von 98,2 Prozent.

Everlaw zufolge besteht das Erfolgsrezept darin, die Aufgabe klar zu definieren, die Prompts iterativ zu verbessern, anhand einer kontrollierten Stichprobe zu validieren und erst dann hochzuskalieren.

Strategie zuerst: Discovery mit belegten Antworten

Everlaw argumentiert, dass die größere Chance jenseits der schnelleren Dokumentenprüfung liegt. Das Tool Deep Dive erlaubt es Teams, Fragen in natürlicher Sprache an einen gesamten Dokumentenbestand zu richten und Antworten mit Quellenangaben zu erhalten. Kernteams können so gleich zu Beginn zentrale Akteure, Themen und Zeitverläufe identifizieren, statt zu warten, bis ein großes Prüfteam Hunderttausende Dateien durchgearbeitet hat. Everlaw berichtet, Deep Dive sei bereits in Verfahren mit Millionen von Dokumenten eingesetzt worden.

Christoff betonte, dass der Nutzen von technischen Entscheidungen abhängt. Rechtsteams müssten verstehen, "welches Wissen in den Trainingsdaten eines LLM steckt und welches tatsächlich in ihren Dokumenten". Sein Team prüft das, indem es Deep Dive bei geladenem Fall fragt, warum der Himmel blau ist. Das System antwortet, es könne keinen Grund finden, weil die Antworten bewusst auf dem Dokumentenbestand beruhen sollen. Verlässliche Tools, so Christoff, sollten jede Aussage mit Quellen belegen und "offen sagen, wenn ihnen die Informationen zur Beantwortung Ihrer Frage fehlen".

Wo KI Teams angreifbar macht

Das Risiko entstehe, so Christoff, wenn KI als lose, ad hoc eingesetzte Abkürzung genutzt wird. Wer sensible Beweismittel in eigenständige Consumer-Tools exportiert, zersplittere die Aktenlage, unterlaufe die Data Governance und lasse Risikoverantwortliche im Unklaren über die Vertraulichkeit von Mandantendaten. Er kritisierte, dass "der Begriff KI sehr pauschal verwendet wird", und verwies auf "einen gewaltigen Unterschied zwischen Consumer-Tools, bei denen das Einspeisen von Daten in eine öffentliche Oberfläche den Verlust des Anwaltsgeheimnisses riskiert, und Enterprise-Systemen, die von Grund auf ohne Datenspeicherung und ohne Modelltraining mit Mandantendaten konzipiert sind".

Er beschrieb zudem ein "Problem des blinkenden Cursors": Ein leerer Prompt funktioniert bei zehn Dokumenten gut, aber nicht bei hundert, tausend oder zehntausend. Dort brauche es einen statistischen, nachvollziehbaren Ansatz, Arbeitsteilung und einen Prüfpfad. Der Aufbau müsse zum Umfang passen, denn ein einzelner Vertrag und 1,5 Millionen Dokumente eines Großunternehmens erforderten sehr unterschiedliche Prozesse. "Dasselbe Tool, ein anderer Prozess", sagte Christoff.

Die Sorge wächst, je agentischer die Tools werden, also Workflows orchestrieren, vorläufige Bewertungen treffen und Beweismaterial ordnen. Laut dem Interview werden damit strikte interne Leitplanken noch wichtiger.

Was das für Rechtsteams bedeutet

Für Kanzleien und Rechtsabteilungen lautet die Botschaft von Everlaw, dass KI-Richtlinien nach Tool-Art unterscheiden sollten, statt KI pauschal zu erlauben oder zu verbieten. Die Zahlen des Unternehmens liefern Teams messbare Ergebnisse, die sich bewerten und vertreten lassen. Der CTO sieht sie jedoch nur für klar abgegrenzte Aufgaben als gültig an, die zuvor an Stichproben validiert wurden. Enterprise-Systeme mit Nachvollziehbarkeit und belegten Antworten sind aus seiner Sicht der sicherere Weg, wenn Verfahren größer werden.