Google stellt ML Drift als Open Source bereit: GPU-Engine für KI-Inferenz auf dem Gerät

8. Oktober 2026Quelle: Google for Developers

Das AI Edge Team von Google hat ML Drift unter der Apache-2.0-Lizenz als Open Source veröffentlicht. Die plattformübergreifende GPU-Compute-Engine für KI- und ML-Inferenz auf dem Gerät ist die zentrale GPU-Beschleunigungsschicht in LiteRT und steht zusätzlich als eigenständige Bibliothek zur Verfügung.

Das Wichtigste in Kürze

Google hat ML Drift, eine GPU-Compute-Engine für KI-/ML-Inferenz auf dem Gerät, unter Apache 2.0 als Open Source veröffentlicht.
Die Engine unterstützt OpenGL ES, OpenCL, Metal und WebGPU, ist die zentrale GPU-Engine in LiteRT und lässt sich auch eigenständig nutzen.
Neu sind Tensor-Virtualisierung, ein Framework für eigene Operatoren, Unterstützung für 5D-Tensoren und phasenbewusste LLM-Optimierungen.
Laut Google sinkt die Frame-Latenz in YouTube Shorts um bis zu 40 Prozent, und Adobe erreicht auf dem Gerät bis zu 30 Prozent mehr Tempo.
In Gemma-Benchmarks liegt der Speicher-Overhead nach Googles Angaben um bis zu 12 Prozent unter dem anderer Frameworks.

Eine Engine für vier GPU-APIs

Laut Google verbirgt ML Drift die Komplexität der Hardware und der Low-Level-APIs von GPUs auf Endgeräten über OpenGL ES, OpenCL, Metal und WebGPU hinweg. Entwickler sollen damit interaktive ML-Anwendungen in Echtzeit, von anspruchsvollen Videoeffekten bis hin zu generativer KI, auf mehreren Plattformen umsetzen können.

Google argumentiert, dass sich der Einsatz am Edge von der Inferenz im Rechenzentrum unterscheidet, wo Modelle auf homogenen, berechenbaren Beschleuniger-Clustern laufen. Auf Endgeräten stünden Entwickler vor vielen GPU-Architekturen, Treiberversionen und Low-Level-APIs und wüssten vorab nicht, auf welcher Hardware eine App laufen wird. Der TensorFlow-Lite-GPU-Delegate habe die Grundlage für GPU-Beschleunigung gelegt, so das Unternehmen. Aktuelle Workloads, von Computer Vision und Audio bis zu generativer KI mit sehr vielen Parametern, brächten Consumer-Chips jedoch an ihre Grenzen und erzeugten Engpässe, für deren Lösung ältere Runtimes nicht ausgelegt seien.

Was sich gegenüber dem TFLite-GPU-Delegate ändert

Google nennt mehrere architektonische Änderungen in ML Drift:

Tensor-Virtualisierung: Die logische Darstellung eines Tensors wird von seiner physischen Allokation auf der GPU entkoppelt. Dynamische Shader-Templates lösen Koordinaten bei der Initialisierung des Compilers auf, sodass Teams keine separaten, Backend-spezifischen Shader-Codebasen mehr benötigen. Laut Google entsteht dadurch nur minimaler Laufzeit-Overhead.
Framework für eigene Operatoren: direkte Registrierungs-APIs mit Low-Level-Zugriff auf die Shading-Sprache. ML Drift enthält einen agentischen SKILL.md-Leitfaden, mit dem Coding-Agenten laut Google in wenigen Minuten eigene Shader schreiben, registrieren und verifizieren können.
Unterstützung für 5D-Tensoren: Der TFLite-GPU-Delegate ist fest auf 4D-Tensoren ausgelegt. Der neue LiteRT-ML-Drift-GPU-Beschleuniger unterstützt 5D-Tensoren von Haus aus, sodass LiteRT 3D-Faltungsnetze und raumzeitliche Modelle wie YOLO 11n, MobileViT v2 und Swin Transformer v2 auf Edge-GPUs ausführen kann.
Schnellere klassische Modelle: Google bezeichnet ML Drift als reines Leistungs-Upgrade für bestehende Workloads und gibt an, die Migration sei bewusst unkompliziert gehalten; bisherige Workloads erreichten oder übertrafen die früheren Benchmarks.
Phasenbewusste LLM-Optimierungen: Autoregressive LLMs haben eine rechenbegrenzte Prefill-Phase und eine durch die Speicherbandbreite begrenzte Decode-Phase. ML Drift wechselt je nach Phase Kernel und Layouts. Für das Decoding nutzt es ein an Faltungen ausgerichtetes KV-Cache-Layout und Aktivierungsquantisierung direkt im Kernel, um überflüssige Speicherzugriffe zu vermeiden.

Desktop-Vorschauen und Speicherverbrauch

Das WebGPU-Backend von ML Drift wurde zunächst für die Beschleunigung im Browser entwickelt. Da Dawn, die WebGPU-Implementierung von Chromium, dieselbe Codebasis nativ kompilieren kann, läuft ML Drift auch unter Windows und Linux. Es ergänzt das bestehende native Metal-Backend unter macOS. Google betont, der Schwerpunkt liege weiterhin auf mobilen und Edge-Geräten, und bezeichnet die Desktop-Ergebnisse mit Gemma-Modellen als frühe Momentaufnahme.

In seinen Gemma-Benchmarks erreicht ML Drift laut Google einen um bis zu 12 Prozent geringeren Speicher-Overhead als andere Frameworks, was Speicher für andere lokale Aufgaben freigibt.

Bereits im Produktiveinsatz

Google zufolge läuft ML Drift schon täglich auf Millionen Geräten und treibt Funktionen in Chrome, YouTube Shorts, Fotos, Meet und der kürzlich gestarteten AI Edge Gallery an.

YouTube Shorts: Segmentierungsbasierte Effekte wurden auf ML Drift umgestellt und senken die durchschnittliche Frame-Latenz auf Android und iOS laut Google um bis zu 40 Prozent.
Google Fotos: Die Integration in Pipelines für Computational Photography und Segmentierung brachte gegenüber dem bisherigen GPU-Delegate einen Zeitgewinn von bis zu 2 Sekunden.
Chrome: ML Drift ist Teil der KI-Runtime, die hardwarebeschleunigte Gemini-Nano-Modelle für die Prompt-, Summarize- und Writer-APIs antreibt. Google verweist auf Cafe24, das die Prompt API zur Tag-Generierung nutzt.
Adobe: Lightroom und Photoshop haben Select Subject, Select Sky und Adaptive Portrait mit ML Drift aufgerüstet und erreichen laut Google auf Mobilgeräten bis zu 30 Prozent schnellere Leistung auf dem Gerät.

Was das für Entwickler bedeutet

Da der Code unter Apache 2.0 steht, können Entwickler ML Drift über LiteRT oder als eigenständige Bibliothek für eigene Grafik- und Inferenz-Runtimes nutzen. Für Teams, die noch den TFLite-GPU-Delegate einsetzen, positioniert Google es als Nachfolger, der neuere Modelltypen und generative Workloads mit einer Codebasis für Mobilgeräte, Web und Desktop unterstützt. Die Leistungsangaben stammen von Google und seinen Partnern; unabhängige Tests enthält die Quelle nicht.