Google-Studie: KI schärft das Urteilsvermögen erfahrener Juristen, aber nicht das von Berufseinsteigern

So war das Experiment aufgebaut

An der Studie, die das National Bureau of Economic Research unter dem Titel "Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting" veröffentlicht hat, nahmen 133 Juristen aus elf Kanzleien für geistiges Eigentum teil, die regelmäßig und nicht exklusiv für Google arbeiten. Die Forscher losten den Zugang zu einem damals noch unveröffentlichten KI-Assistenten von Google Labs für das Verfassen von Patenten aus, der inzwischen Teil von Gemini Notebook ist.

Zwei Drittel der Juristen jeder Kanzlei bildeten die Behandlungsgruppe und erhielten frühen Zugang zum Tool. Die übrigen, die Kontrollgruppe, bekamen eine Schulung zum Umgang mit KI, durften das Tool aber erst nach Ende der dreimonatigen Studie nutzen.

Nach Angaben der Autoren erfordert die Untersuchung, wie KI Expertise abbaut oder aufbaut, drei Elemente, die selten zusammenkommen: eine über Monate anhaltende KI-Nutzung in der normalen Berufspraxis, eine belastbare Bewertung des Urteilsvermögens ohne Unterstützung und eine verblindete Benotung durch Fachexperten. Externe Patentfachleute bewerteten die Einreichungen anhand von fünf Kriterien: Durchsetzbarkeit, Genauigkeit, strategische Mehrdeutigkeit, Vollständigkeit und Klarheit.

Bessere Entwürfe mit KI, vor allem bei Einsteigern

Nach 10 Tagen verfassten alle Juristen anhand eines Pakets mit Erfindermaterialien ein Patent für eine hypothetische Erfindung. Nach 90 Tagen wiederholten sie die Aufgabe mit anderen simulierten Materialien. Der KI-Zugang erhöhte die Bewertungen der Entwürfe nach 10 Tagen um 0,34 Standardabweichungen, was einem Sprung von 10 Punkten im Perzentilrang gegenüber den Werten der Kontrollgruppe entspricht. Nach 90 Tagen betrug die Verbesserung 0,38 SD oder 11 Perzentilpunkte.

Die Zugewinne zeigten sich bei allen Qualitätskriterien. Sie beruhten auf weniger schlechten und mehr guten Bewertungen, während die Häufigkeit exzellenter Bewertungen unverändert blieb. Besonders deutlich war das Muster bei jüngeren Juristen, deren Qualitätsgewinne mit Zeitersparnis einhergingen: Sie waren 18 Minuten schneller als der Durchschnitt der Kontrollgruppe von 124 Minuten bei der 10-Tage-Aufgabe.

Der Test ohne KI

Nach 90 Tagen ergänzten die Forscher eine Redlining-Aufgabe: das Überarbeiten und Korrigieren eines bestehenden hypothetischen Patents mit zahlreichen inhaltlichen und stilistischen Fehlern. Die Autoren sehen darin das fachliche Urteilsvermögen abgebildet, das erfahrene Juristen routinemäßig einsetzen und oft nicht an KI delegieren können. Niemand durfte dafür KI nutzen, die Ergebnisse maßen also, wie weit sich die Fähigkeiten entwickelt hatten.

Juristen mit KI-Zugang übertrafen die Kontrollgruppe bei dieser Aufgabe ohne Hilfsmittel um 0,32 SD, was einem Anstieg um 9 Punkte im Perzentilrang entspricht. Der Effekt ging vollständig auf erfahrene Juristen mit mindestens 7 Jahren Berufserfahrung zurück, die die Kontrollgruppe um 0,45 SD übertrafen, ein Anstieg um 13 Punkte. Berufseinsteiger mit weniger als 7 Jahren Erfahrung zeigten keine erkennbare Verbesserung. Ihre Ergebnisse spalteten sich auf: mehr sehr schlechte Werte, weniger mittelmäßige, mehr gute und nicht mehr exzellente.

Warum Erfahrene und Einsteiger auseinanderliefen

Die Autoren untersuchten die Bearbeitungsmuster. In beiden Gruppen arbeiteten die Einsteiger sequenziell von oben nach unten und verbrachten oft viel Zeit damit, unwichtige einleitende Abschnitte zu redigieren, bevor sie zu den zentralen Ansprüchen kamen. Sie konzentrierten sich auf oberflächliches Austauschen von Synonymen, statt den wirtschaftlichen Schutzumfang zu verbessern. Selbst wenn sie gravierende Mängel erkannten, hinterließen sie oft nur Kommentare zur Diagnose, statt den Fehler zu beheben. Weil diese Gewohnheit des "Diagnostizierens ohne Ausführen" bei den Einsteigern der Kontrollgruppe ohne KI genauso verbreitet war, beschreiben die Autoren sie als grundlegendes Defizit von Berufsanfängern, das drei Monate KI-gestützter Umformulierungen nicht behoben haben.

Erfahrene Juristen der Behandlungsgruppe verbrachten mehr Zeit mit dem Redlining, übersprangen unwichtige Textpassagen, bauten die Ansprüche von Grund auf neu auf, entfernten Formulierungen, die Rechte einschränken könnten, und verbanden viele Änderungen mit ausdrücklichen Rechtsgrundsätzen. In Nachgesprächen beschrieben sie, KI-Ergebnisse als "Logikprüfer" statt als fertiges Produkt zu behandeln, was sie nach Angaben der Autoren zwang, das Warum und Wie struktureller Änderungen zu formulieren.

Was das bedeutet

Die Autoren folgern, dass die Verbesserung der Leistung und der Aufbau dauerhaften beruflichen Urteilsvermögens unterschiedliche Ziele sind, die bei Berufseinsteigern womöglich im Widerspruch stehen. Grundlegende Fachkenntnis könnte demnach das fehlende Bindeglied sein, durch das KI-gestützte Wiederholung im Laufe einer Karriere zu gereiftem Urteilsvermögen wird. Für Kanzleien und Ausbilder deuten die Ergebnisse darauf hin, dass ein höherer maschinell unterstützter Output junger Mitarbeiter allein nicht bedeutet, dass sie schneller jene Expertise erwerben, die erfahrene Fachleute besonders wertvoll macht.