Aleph Alpha überführt sein Parsing-Harness in Parsy, ein Modell mit nur einem Durchlauf

Warum Aleph Alpha einen eigenen Parser gebaut hat

Nach Angaben von Aleph Alpha stießen die Forward-Deployed-KI-Lösungen des Unternehmens in Kundenprojekten an eine Leistungsgrenze, deren Ursache die mangelhafte Qualität bei der Datenaufnahme war. Suchsysteme, Assistenten und Extraktionspipelines hängen von Inhalten ab, die aus Datenblättern, Wartungshandbüchern, amtlichen Formularen, Fortschrittsberichten, Prüfberichten und Spezifikationen gewonnen werden. Diese Dokumente enthalten verschachtelte Tabellen, Fußnoten, Diagramme und gescannte Seiten.

Wenn die Antwortqualität nicht genügte, führte das Unternehmen die meisten Fehler auf den Parsing-Schritt zurück. Komplexe Tabellen waren ein typischer Fall: Die Parser erfassten zwar jedes Wort und jede Zahl, verloren aber die Zuordnung, welcher Wert zu welcher Einheit und welcher Zeile gehört. Andere Parser erfanden Zeichen, die nie auf der Seite standen, oder ordneten Fußnoten den falschen Textstellen zu.

Hinzu kommt, dass Kunden verlangen, dass Dokumente in ihrer eigenen Umgebung bleiben. Jede Lösung muss daher selbst gehostet werden, On-Premises oder in einer Private Cloud. Aleph Alpha zufolge bot kein getestetes Werkzeug zugleich die nötige Qualität und die nötige Souveränität.

Ein Harness, das die Ausgabe mit der Seite abgleicht

Das Unternehmen baute ein automatisiertes Harness, das einen sorgfältigen menschlichen Prüfer nachahmt, der die extrahierte Ausgabe neben die Originalseite legt. Es beruht auf drei Ideen.

• Die Position bleibt erhalten. Jede Seite wird einmal gerendert, Regionen, Kategorien und Lesereihenfolge werden bestimmt, und jedes extrahierte Element trägt eine Bounding Box, sodass sich die Seite an ihren ursprünglichen Koordinaten rekonstruieren lässt.
• Das Original ist die Referenz. Die Rekonstruktion wird als Screenshot erfasst und von einem Vision-Modell mit dem Original verglichen, ein Judge-Modell bewertet jeden Vergleich. Seiten mit geringer Ähnlichkeit werden erneut extrahiert und geprüft, unsichere Seiten gehen an einen optionalen menschlichen Prüfer. Aleph Alpha zufolge braucht dieses Verfahren keine gelabelten Daten.
• Die menschliche Prüfung ist gezielt. Jede Seite hat einen Qualitätswert und eine Notiz, sodass Prüfer nur Seiten öffnen, die Aufmerksamkeit brauchen. Die Prüfoberfläche steht auch als API zur Verfügung.

Auf ParseBench, einem öffentlichen Benchmark mit 2.078 von Menschen verifizierten Seiten aus realen Unternehmensdokumenten, erzielte das Harness in der internen Auswertung von Aleph Alpha 86,0 Punkte. Das Unternehmen gibt an, damit wäre es bis Ende August 2026 auf Platz eins der öffentlichen Bestenliste gelandet.

Das Problem waren Geschwindigkeit und Kosten. Jede Seite durchläuft den Judge mindestens einmal, schwierige Seiten werden mehrfach durchlaufen, mit mehreren Modellen und bis zu drei Durchgängen. Für Kunden, die monatlich Millionen Seiten auf eigener Hardware verarbeiten, bedeutet das mehr GPUs.

Das Schülermodell wird trainiert

Aleph Alpha beschloss, ein Modell mit dem einzigen Ziel zu trainieren, das Harness in einem einzigen Durchlauf zu erreichen. Kundendaten habe man dafür nicht verwendet. Stattdessen sammelte das Unternehmen im Einklang mit den rechtlichen Vorgaben öffentliche Dokumente, die Kundenmaterial ähneln, von technischen Datenblättern bis zu gescannten Formularen. Das Harness labelte diesen Korpus und ordnete jedem Element Kategorie, Bounding Box und Position in der Lesereihenfolge zu. Auf diesem Format wurde ein spezialisiertes Vision-Language-Modell trainiert.

Weil ein auf Parser-Ausgaben trainiertes Modell die systematischen Fehler dieses Parsers erbt, prüfte das Team die Labels nach jeder Runde mit Werkzeugen, die die blinden Flecken des Harness nicht teilen:

• ein unabhängiges Layoutmodell, dessen Regionen mit den Labels verglichen werden;
• eine Tintenabdeckungsprüfung, die gedruckten Text außerhalb aller gelabelten Boxen findet;
• ein zweites OCR-Modell, dessen Abweichungen markiert werden.

Menschen prüften Stichproben der markierten Seiten, um zu bestätigen, was jeder Detektor erkennt, bevor das Team diesen Fehlertyp im gesamten Korpus korrigierte oder entfernte. In einem Beispiel hatten Labels in langen Listen und Tabellen mehrere gedruckte Zeilen in einer Box zusammengefasst, und das Modell lernte dieselbe Angewohnheit, bis eine Zeilenvergleichsprüfung diese Seiten fand und reparierte.

Die erste Modellversion lag auf ParseBench etwa zwei Punkte unter dem Harness. In der sechsten Runde aus Training und Label-Bereinigung zog sie am Harness vorbei und liegt seither darüber. Aleph Alpha zufolge bringen die jüngsten Runden nur noch wenig, weil die verbleibenden Abweichungen meist Formatierungskonventionen und keine echten Fehler sind. Das Unternehmen erklärt das Ergebnis damit, dass das Harness seine Qualität erst zur Laufzeit erreicht, während das Modell aus der bereinigten Ausgabe lernt, sodass die meisten Fehler gar nicht erst in die Trainingsdaten gelangen.

Was das für Kunden bedeutet

Laut Aleph Alpha kostet Parsy pro Seite ein bis zwei Größenordnungen weniger als das Harness. Es treibt inzwischen Extraktionsaufgaben in den Kundenlösungen des Unternehmens an und steuert die Quellenhervorhebung in den Chat-Anwendungen. Für Organisationen mit sehr großen Dokumentmengen und strengen Self-Hosting-Anforderungen stellt das Unternehmen es als Weg dar, hohe Parsing-Qualität ohne die GPU-Last eines mehrstufigen Systems zu behalten. Die Zahlen stammen aus der eigenen Auswertung von Aleph Alpha.