ModelBest und OpenBMB stellen MiniCPM-OCR für Dokumentenerkennung und Qualitätskontrolle als Open Source bereit
ModelBest und OpenBMB haben die MiniCPM-OCR-Serie als Open Source veröffentlicht. Dazu gehören MiniCPM-OCR 1.0, ein Modell zur Dokumentenerkennung mit 1,3 Milliarden Parametern, und MiniCPM-OCR Jev, ein Modell mit 2 Milliarden Parametern, das die Qualität von OCR-Ergebnissen beurteilt.
- ModelBest und OpenBMB haben die MiniCPM-OCR-Serie als Open Source veröffentlicht, bestehend aus MiniCPM-OCR 1.0 (1,3 Mrd. Parameter) und MiniCPM-OCR Jev (2 Mrd. Parameter).
- MiniCPM-OCR 1.0 verarbeitet gescannte, fotografierte, gewölbte, schief aufgenommene und per Screenshot erfasste Dokumente ohne Bildvorkorrektur und unterstützt die Extraktion von Schlüsselinformationen.
- Jev vergleicht Ausgangsbilder mit der OCR-Ausgabe, vergibt Konfidenzwerte für Text, LaTeX-Formeln und Tabellen und kann Ergebnisse zur manuellen Prüfung markieren.
- Die Modelle sind auf GitHub, Hugging Face und ModelScope verfügbar und unterstützen vLLM, SGLang, llama.cpp und Ollama.
- Die Day-0-Hardware-Unterstützung umfasst AMD, Arm, Houmo AI, Intel und NVIDIA, über FlagOS kommen viele weitere Chips hinzu.
MiniCPM-OCR 1.0: kompaktes Parsing für Dokumente aus der Praxis
Laut Ankündigung ist MiniCPM-OCR 1.0 das erste auf OCR spezialisierte Modell der MiniCPM-Familie. Es hat 1,3 Milliarden Parameter und eine für den Einsatz auf Endgeräten (Edge) optimierte Architektur. Nach Angaben der Unternehmen verschiebt es bei quelloffenen OCR-Modellen die Balance zwischen Effizienz und Leistung.
Das Modell ist auf reale Einsatzbedingungen ausgelegt. Es verarbeitet gescannte, fotografierte, gewölbte, schief aufgenommene und per Screenshot erfasste Dokumente ohne aufwendige Bildvorkorrektur. Das senkt nach Angaben der Unternehmen die Hürde für die Digitalisierung in großem Maßstab. Es bewältigt dichte zweisprachige Inhalte auf Chinesisch und Englisch, komplexe mathematische Formeln sowie mehrstufige oder randlose Tabellen. Laut ModelBest und OpenBMB erreicht es in einer breiten Auswahl gängiger Branchen-Benchmarks ein führendes Niveau.
Über die Rekonstruktion ganzer Seiten hinaus unterstützt es die Extraktion von Schlüsselinformationen (KIE). Das heißt, es kann nach geschäftlichen Vorgaben bestimmte Felder aus Rechnungen, Ausweisen und Finanzberichten auslesen.
Das Modell nutzt die Decoding-Beschleunigung DSpark, die den Durchsatz vom Anfang bis zum Ende der Verarbeitung deutlich erhöhen und zugleich die Latenz pro Seite senken soll. Für Unternehmen, die Millionen von Seiten verarbeiten, etwa bei Archiven für Finanzverträge, wissenschaftlichen Bibliotheken und Behördenakten, bedeutet das laut Mitteilung: deutlich mehr Dokumente mit derselben Hardware und im gleichen Zeitrahmen, bei erheblich geringeren Rechenkosten.
MiniCPM-OCR Jev: ein KI-Qualitätsprüfer
Das zweite Modell, MiniCPM-OCR Jev, zielt auf den seit Langem bestehenden Bedarf an seitenweiser manueller Kontrolle. Es wird als das erste Entscheidungsmodell für OCR-Ergebnisse beschrieben. Jev führt selbst keine Texterkennung durch. Stattdessen vergleicht es das Ausgangsbild mit der OCR-Ausgabe und vergibt rasch Konfidenzwerte für Text, LaTeX-Formeln und Tabellen. Es erkennt fehlende Zeichen, Fehler und Formatierungsverschiebungen.
Trotz seiner Größe von 2 Milliarden Parametern liefert Jev nach Angaben der Unternehmen eine Urteilsgenauigkeit, die man sonst von deutlich größeren Modellen kennt. Es lässt sich modellübergreifend einsetzen und in bestehende OCR-Workflows integrieren, ohne die zugrunde liegende OCR-Engine auszutauschen.
- Es kann verlässliche Ergebnisse für die direkte Weiterverarbeitung erkennen.
- Es kann möglicherweise ungenaue Ausgaben zur manuellen Prüfung markieren.
- Es kann aus den Ergebnissen mehrerer OCR-Systeme das beste auswählen.
Den Unternehmen zufolge können Firmen so von der vollständigen manuellen Kontrolle zu einer risikobasierten, automatisierten Qualitätssicherung übergehen.
Verfügbarkeit und Hardware-Unterstützung
Die MiniCPM-OCR-Serie ist auf GitHub, Hugging Face und ModelScope verfügbar. Sie unterstützt vLLM, SGLang, llama.cpp und Ollama und wird mit SDKs, APIs, Agent-Skill-Plugins und quelloffenem Fine-Tuning-Code geliefert.
Die Hardware-Anpassung zum Start (Day-0) umfasst AMD, Arm, Houmo AI, Intel und NVIDIA. Über den Software-Stack FlagOS unterstützt die Serie ab dem ersten Tag zudem KI- und Edge-Chips von CIX Technology, Huawei Ascend, Hygon, Iluvatar CoreX, Kunlunxin, MetaX, Moore Threads, Sunrise, T-Head, TsingMicro, NVIDIA und Apple Mac (Arm).
Was das für dokumentenintensive Organisationen bedeutet
Für Organisationen, die große Archive digitalisieren, verbindet die Veröffentlichung zwei Bausteine: ein kleines Parsing-Modell für den Einsatz auf Endgeräten und einen separaten Prüfer, der sich auf jede beliebige OCR-Engine aufsetzen lässt. Da Jev modellübergreifend arbeitet, könnten Teams, die bereits ein OCR-System betreiben, eine automatisierte Kontrolle ergänzen, ohne die Engine zu wechseln. Die Open-Source-Veröffentlichung, die breite Unterstützung von Laufzeitumgebungen und der Fine-Tuning-Code geben Entwicklern zudem Spielraum, die Modelle an eigene Workflows anzupassen. Die Leistungsangaben stammen von ModelBest und OpenBMB, konkrete Benchmark-Werte nennt die Ankündigung nicht.
