Forscher passen Ai2s olmOCR 2 für historische und archäologische Archive an

Ein offenes Modell, das lokal läuft

olmOCR 2 ist Ai2s offenes Modell, das aus Dokumentbildern durchsuchbaren, strukturierten Text extrahiert, auch bei Handschrift und komplexen Layouts. Ai2 veröffentlicht Gewichte, Feintuning-Daten und Code. Dadurch können Forscher das Modell auf eigener Hardware betreiben und an ihre Anforderungen anpassen.

Ai2 hebt zwei Projekte hervor, die diese Offenheit auf unterschiedliche Weise nutzen: ArtificeOCR des Historikers Maurice Casey und CENTURIA, entwickelt von Forschern, die römische Keramikakten aus Carnuntum bearbeiten, einer Fundstätte im heutigen Österreich.

ArtificeOCR: ein privates Archiv durchsuchen, ohne es hochzuladen

Casey erforscht die radikale Politik im Europa des frühen 20. Jahrhunderts und arbeitet mit Quellen auf Englisch, Russisch und Deutsch. Im Laufe der Jahre hat er Tausende Fotos von Briefen, Zeitungen und anderen Dokumenten gesammelt, aufgenommen mit verschiedenen Smartphones unter wechselnden Bedingungen. Er wollte sie per Stichwort durchsuchen können, ohne Material, das ihm Archive und Familien anvertraut haben, bei einem Drittanbieter hochzuladen.

Sein Werkzeug ArtificeOCR verbindet lokal laufende Vision-Language-Modelle wie olmOCR 2 mit Tropy, der Open-Source-Anwendung, mit der er seine Archivfotos organisiert. Casey machte so seine bestehende Tropy-Bibliothek durchsuchbar und behielt dabei die Metadaten bei, die er seit 2019 erfasst hat.

Laut Ai2 schätzt Casey das Modell besonders für abwechslungsreiche Seitenlayouts, etwa die standardisierten Formulare in Geheimpolizeiarchiven, ohne jedes Dokumentformat gesondert aufbereiten zu müssen. Auch bei englischer Kursivschrift und Maschinenschrift berichtet er in all seinen Forschungssprachen von guten Ergebnissen.

Er nennt aber auch Grenzen. Ein Sprachmodell kann plausiblen, flüssigen Text erzeugen, wo klassische OCR offensichtlichen Buchstabensalat liefern würde, und bei Handschrift in Sprachen, die in den Trainingsdaten weniger vertreten sind, treten nach seinen Angaben Fehler auf. ArtificeOCR lässt Forscher daher einen Scan mit seiner Transkription vergleichen, Fehler korrigieren und Änderungen aus späteren Verarbeitungsschritten nachvollziehen. „Die Treue zum Quellenmaterial, einschließlich der Frage, wie Menschen früher Fehler machten oder in Code- und Euphemismensprache schrieben, ist für meine Arbeit als Historiker enorm wichtig“, sagt Casey.

Das Werkzeug befindet sich noch in einer frühen Entwicklungsphase. Casey wünscht sich Oberflächen, die lokale Modelle für Historiker leichter nutzbar machen, und sieht Potenzial darin, sie für bestimmte Quellenarten feinzutunen.

CENTURIA: Feintuning auf römischen Keramikakten

Forscher des Computer Vision Lab der TU Wien und des Österreichischen Archäologischen Instituts der Österreichischen Akademie der Wissenschaften untersuchten handschriftliche Keramikakten aus Carnuntum. Das Archiv umfasst rund 70.000 Akten. Handschriftliche Notizen geben Gefäßformen, Grabungskontexte und weitere Angaben an, die Archäologen für den Vergleich von Funden brauchen. Die Anmerkungen stehen um technische Zeichnungen herum, überlagern sie teils und verwenden abgekürzte deutsche Fachbegriffe. Unterschiedliche Handschriften und Aufzeichnungskonventionen über Jahrzehnte erschweren die Transkription zusätzlich.

Im Rahmen des Forschungsprojekts LEGION schuf das Team CENTURIA, einen Benchmark aus 507 annotierten Akten zur Bewertung von Transkription und der Extraktion strukturierter Informationen. Von fünf getesteten offenen Modellen hatte olmOCR 2 vor der Anpassung den geringsten Transkriptionsfehler. Der Zugriff auf die Gewichte erlaubte es dem Team, das Modell mit Beispielen aus der Sammlung zu trainieren.

Mit LoRA, einem Verfahren, das nur eine kleine Menge zusätzlicher Parameter trainiert, tunten die Forscher olmOCR 2 anhand von 57 Akten fein. Bei den übrigen 450 Testakten sank der Transkriptionsfehler von 15,58 % auf 1,11 %.

Die Autoren sagen, sie wollten eine Pipeline, die reproduzierbar ist und von Kulturerbe-Einrichtungen realistisch eingesetzt werden kann, „die oft nicht über die Ressourcen verfügen, zehntausende Dokumente über kommerzielle APIs zu verarbeiten“.

Was das für Archive bedeutet

Als Nächstes will das Team den Ansatz auf die rund 70.000 Keramikakten des Carnuntum-Archivs anwenden. Eine durchsuchbare Gesamtsammlung könnte Archäologen helfen, Keramikformen innerhalb der Fundstätte und zwischen historischen Epochen zu vergleichen. Solche Fragen seien, so die Autoren, „unpraktikabel, wenn die Daten in Papieranmerkungen stecken“, würden aber „handhabbar“, sobald die Akten strukturiert und durchsuchbar sind.

Ai2 weist darauf hin, dass sich Archive in Aufzeichnungskonventionen und Zugangsbedingungen unterscheiden und dass Forscher mit verfügbaren Gewichten und Code selbst entscheiden können, wo sie olmOCR 2 betreiben und wie sie es an ihre Dokumente anpassen. Beide Projekte binden eine fachliche Prüfung in den Prozess ein. Für Casey zählt vor allem der lokale Betrieb: „Dass ich das Modell lokal laufen lassen kann, war für mich der wichtigste Punkt“, sagt er. „Es gibt so viel Material, bei dem ich mich schlicht nicht wohlfühlen würde, es an einen Dritten zu schicken.“