LiteRT in Google Play services: GPU-Inferenz 1,4-mal schneller, Apps kleiner

Schnellere GPU-Inferenz über die CompiledModel API

Nach Googles Angaben verarbeitet LiteRT in Google Play services täglich mehr als eine Billion Inferenzen auf Milliarden von Geräten. Der neue GPU-Stack basiert auf ML Drift, das Google als neueste quelloffene GPU-Engine von LiteRT bezeichnet und das nach eigenen Angaben bereits täglich in Google-Apps auf Millionen von Geräten im Einsatz ist. Zugänglich ist er über die CompiledModel API, die Google als moderne Nachfolgerin der älteren Interpreter API präsentiert.

Bislang setzte die Nutzung dieses schnelleren GPU-Stacks voraus, LiteRT in die App einzubinden. Mit dem Update wird die Laufzeitumgebung samt GPU-Beschleuniger nur noch einmal mit Play services ausgeliefert, statt in jeder einzelnen App.

Laut Google bietet die CompiledModel API einen einheitlichen Workflow für CPU- und GPU-Beschleunigung, statt für jeden Beschleuniger einen eigenen Delegate und Einrichtungsweg zu verlangen. LiteRT nutzt OpenCL, wo verfügbar, andernfalls OpenGL. Fordern Entwickler sowohl GPU als auch CPU an, greift LiteRT auf Geräten ohne nutzbare GPU auf die CPU zurück. LiteRT behält das bisherige .tflite-Modellformat bei und führt dasselbe Modell auf Android, iOS, Desktop und im Web aus.

Kleinere Apps und breitere Geräteunterstützung

Google zufolge waren Apps, die auf LiteRT in Google Play services umgestiegen sind, in den eigenen Tests etwa 8 MB kleiner. Das beschleunigt den Download und entlastet die Geräte. Mehr als 100.000 Android-Apps bringen derzeit ihre eigene Kopie von LiteRT oder TensorFlow Lite mit, daher rechnet Google damit, dass sich die Einsparungen mit jedem Umstieg summieren. Auch die Einsparungen bei Speicher und Arbeitsspeicher wachsen mit jeder App, die die Laufzeitumgebung mitnutzt.

Google nennt weitere Vorteile:

• Automatische Updates: Leistungsverbesserungen, Fehlerbehebungen und Sicherheitspatches kommen in gestaffelten Rollouts über Play services, ohne App-Update.
• Mehr Einsatzorte: Smartphones bis zurück zu Android 7 (API-Level 24) sowie neu auch Wear OS 4+ und Android Automotive OS (Android 11+).
• Im großen Maßstab erprobt: Die Vision- und Text-APIs von ML Kit, etwa Subject Segmentation und Document Scanner, laufen bereits auf LiteRT in Google Play services.

Als Demonstration dient die Scrapbook-Funktion in der App Google AI Edge Gallery, in der die Bildsegmentierung auf LiteRT in Google Play services läuft.

So gelingt der Umstieg, und was veraltet ist

Laut Google erfordert der Umstieg nur wenige Zeilen Code. Entwickler fügen com.google.android.gms:play-services-litert:17.0.0 (oder eine neuere Version) hinzu, entfernen die litert-Abhängigkeit, falls sie diese bisher einbinden, beziehen die LiteRT-Umgebung von Play services und übergeben sie beim Erstellen eines CompiledModel. Der übrige Code bleibt unverändert.

Apps, die bereits die ältere Interpreter API in Google Play services nutzen, laufen nach dem Wechsel auf play-services-litert weiterhin auf der CPU. Für die Ausführung auf der GPU ist der Umstieg auf die CompiledModel API nötig.

Google hat außerdem einen LiteRT-Skill für Android Studio vorgestellt. Im Agent Mode können Entwickler ihn bitten, „migrate my TFLite code to CompiledModel" auszuführen, oder @litert-runtime eingeben. Der Skill stellt die App auf play-services-litert um, schreibt Interpreter-Aufrufe um und richtet die GPU-Beschleunigung mit CPU-Fallback ein. Google rät, das Ergebnis als ersten Entwurf zu betrachten: den Diff prüfen, bauen und die Ausgaben auf einem echten Gerät vergleichen.

Der alte GPU-Delegate und die Custom-Delegate-APIs gelten als veraltet (deprecated) und werden durch die GPU-Beschleunigung von CompiledModel sowie die Compiler-Plugin- und Dispatch-APIs ersetzt. NNAPI wird ab 2027 entfernt, und ältere SDKs erhalten nur noch kritische Sicherheitskorrekturen. Bereits ausgelieferte Apps funktionieren weiter, doch Google warnt, dass Code mit veralteten APIs nicht mehr mit dem neuesten SDK kompiliert.

Was das für Android-Entwickler bedeutet

Entwicklern, die eigene Modelle auf CPU oder GPU ausführen, empfiehlt Google den Wechsel zu LiteRT in Google Play services. Wegen der Abkündigungen führt zudem kaum ein Weg an der Planung des Umstiegs auf die CompiledModel API vorbei. Google kündigt an, LiteRT weiter regelmäßig zu aktualisieren, unter anderem mit besserer GPU-Beschleunigung und größerer Modellabdeckung, und arbeitet nach eigenen Angaben aktiv an NPU-Unterstützung in Play services.

Entwickler, die auf Probleme stoßen, können das Team über GitHub Discussions erreichen oder ein Issue melden.