MiniCPM-V 4.7 bringt ein multimodales 35B-MoE-Modell auf Smartphones mit rund 3 GB Speicher
ModelBest und die OpenBMB-Community haben MiniCPM-V 4.7 veröffentlicht, eine quelloffene multimodale Modellreihe für den Einsatz direkt auf dem Gerät, in den Versionen 35B-A3B und 1B. Nach Angaben der Unternehmen bringt sie Bild-, Dokument- und Videoverständnis auf Edge-Geräte mit rund 3 GB Speicher.
- ModelBest und OpenBMB haben MiniCPM-V 4.7 in den Versionen 35B-A3B und 1B veröffentlicht, ausgelegt auf Geräte mit rund 3 GB Speicher.
- Das 35B-A3B-Modell aktiviert pro Token etwa 3 Milliarden Parameter, die meisten Experten bleiben auf dem SSD-Speicher und werden bei Bedarf geladen.
- Lookahead Expert Scheduling bereitet mehr als 80 % der benötigten Experten vorab vor, die Ausgaben sind mit und ohne die Funktion identisch.
- Das Modell erreicht auf einem iPad Pro M4 mehr als 17 Token pro Sekunde und auf dem iPhone 17 Pro Max mehr als 13.
- Gewichte, Inferenzcode und Fine-Tuning-Code sind öffentlich verfügbar, mehrere Chiphersteller bieten Day-0-Unterstützung.
Ein Mixture-of-Experts-Modell für Smartphones
ModelBest bezeichnet MiniCPM-V 4.7 35B-A3B als das erste quelloffene multimodale MoE-Modell, das ohne Abstriche bei der Modellqualität flüssig direkt auf dem Gerät läuft. Das Modell aktiviert pro Token etwa 3 Milliarden Parameter, während die meisten Experten auf dem SSD-Speicher verbleiben und bei Bedarf geladen werden. So bringt die Veröffentlichung multimodale Fähigkeiten großer Modelle auf iOS und Android.
Das Modell deckt allgemeines visuelles Verständnis, das Lösen von MINT-Aufgaben, OCR, die Interpretation von Dokumenten und Diagrammen sowie das Verstehen langer Videos ab. Laut ModelBest verschiebt es die Pareto-Grenze zwischen Intelligenz und Kosten für multimodale KI auf dem Gerät nach vorn, indem es starke Gesamtleistung bei kurzer Inferenzzeit liefert.
Die 1B-Version baut auf MiniCPM-V 4.6 auf und zielt auf leichtgewichtige Edge-Geräte. Sie unterstützt allgemeines Bildverständnis, OCR, Diagramm-Reasoning und das Verstehen mehrerer Bilder und läuft flüssig auch auf Einsteigergeräten. Damit, so die Unternehmen, erreicht multimodale KI mehr alltägliche Hardware.
Lookahead-Scheduling und Geschwindigkeitswerte
Ein wesentlicher Teil der Geschwindigkeitsgewinne ist ModelBests Lookahead Expert Scheduling (LES). Es sagt voraus, welche Experten die nächste Schicht benötigt, und lädt sie, während die aktuelle Schicht noch rechnet. In den meisten Szenarien bereitet es mehr als 80 % der benötigten Experten vorab vor, ohne dass zusätzliches Training nötig ist. Den finalen Expertenauswahl trifft weiterhin der ursprüngliche Router des Modells, sodass die Ausgaben mit und ohne LES identisch sind.
LES arbeitet mit schichtweiser Quantisierung und zusammenhängender Speicherung der Experten zusammen. Zusammen steigerten diese Optimierungen die durchschnittliche Generierungsgeschwindigkeit auf einem iPad Pro M4 mit 16 GB Arbeitsspeicher um etwa das Fünffache. Auf diesem Gerät erreicht das Modell mehr als 17 Token pro Sekunde, auf dem iPhone 17 Pro Max mehr als 13 Token pro Sekunde.
Das Modell unterstützt zudem sowohl 4-fache als auch 16-fache Kompression der visuellen Token, sodass Entwickler wahlweise Detailtreue oder Tempo priorisieren können. Bei 16-facher Kompression erzielt es laut Veröffentlichung 90,9 Punkte bei MMBench und 90,4 bei OCRBench.
Feinabstimmungsmethode und Hardwareunterstützung
Mit der Veröffentlichung wird Self-Replay Fine-Tuning eingeführt, bei dem hochwertige eigene Antworten des Modells in die Trainingsdaten gemischt werden. Ziel ist, dass das Modell neue Aufgaben lernt und dabei seine allgemeinen Fähigkeiten behält, und zwar zu Kosten nahe am herkömmlichen überwachten Fine-Tuning.
MiniCPM-V 4.7 wird vom ersten Tag an (Day-0) von AMD, Apple, Arm, Houmo AI, Intel, Rockchip und NVIDIA unterstützt. Über den FlagOS-Software-Stack gibt es zudem Day-0-Unterstützung für KI- und Edge-Chips von CIX Technology, Huawei, Hygon, Iluvatar CoreX, Kunlunxin, MetaX, Moore Threads, Sunrise, T-Head und TsingMicro.
Was das für Entwickler bedeutet
Modellgewichte, Inferenzcode und Fine-Tuning-Code stehen öffentlich zum Herunterladen, Evaluieren und Einsetzen bereit. Für Teams, die mobile Anwendungen oder Edge-Anwendungen entwickeln, bietet die Veröffentlichung ein großes multimodales Modell, das nach Angaben der Entwickler in etwa 3 GB Speicher passt, sowie eine kleinere 1B-Option für Einsteigerhardware. Die Geschwindigkeits- und Benchmark-Werte stammen aus der eigenen Ankündigung von ModelBest.
