Google bringt EmbeddingGemma 2: multimodales Embedding-Modell für die Suche direkt auf dem Gerät

Ein Vektorraum statt verketteter Modelle

Google zufolge richtet sich EmbeddingGemma 2 an Entwickler, die lokale Suchfunktionen und Medienabfragen bauen. Weil das Modell Text, Bild und Audio nativ verarbeitet, entfällt die Verkettung separater Modelle für Bildbeschreibung, Spracherkennung und Text-Embeddings. Das senke Latenz und Speicherbedarf, so das Unternehmen.

Das Modell nutzt modulare Encoder. Laut Google kommt es auf einem Google Pixel 11 Pro mit rund 191 MB aktivem Arbeitsspeicher für die reinen Textgewichte und rund 567 MB für das vollständige multimodale Modell aus.

Google beschreibt das Modell außerdem als Entscheidungsmaschine für das Gerät. Ohne Trainingsdaten oder Fine-Tuning gleicht es Nutzereingaben mit Klassifikationslabels und Beschreibungen ab, was nach Angaben des Unternehmens Zero-Shot-Intent-Routing in Millisekunden ermöglicht.

Neue Demos: Gallery und Foresight

Die App Google AI Edge Gallery, mit der Nutzer und Entwickler KI-Modelle auf dem Gerät ausprobieren können, hat zwei neue Showcases erhalten. Instant Media Search findet Bilder oder Videos in lokalen Medien per natürlicher Sprache oder anhand von Beispielbildern. Anfragen und Medien werden in Embeddings auf dem Gerät umgewandelt, die Medienvektoren liegen in einer lokalen SQLite-Datenbank, und die Ergebnisse werden nach Kosinus-Ähnlichkeit sortiert. Die Ergebnisse aktualisieren sich bei jedem Tastenanschlag, eine Internetverbindung ist nicht nötig. Googles Beispiel: Wer "Katze" eintippt, sieht Katzenfotos, und mit der Verfeinerung "Katze schläft auf Tastatur" rückt ein bestimmtes Foto an die Spitze. Nutzer können auch ein Bild auswählen oder den Live-Kamerastream verwenden, um verwandte Fotos zu finden.

Video Moments Finder sucht bestimmte Momente in lokalen Videos, ohne Audio zu transkribieren oder Textbeschreibungen zu erzeugen. Nachdem ein Nutzer ein Video ausgewählt hat, indexiert die Engine Bild- und Audioabschnitte und erstellt Embeddings. Anfragen wie "kids laughing" oder "dog catching a frisbee" liefern die passenden Zeitstempel. Die Gallery-App ist bei Google Play und im Apple App Store erhältlich, ein GitHub-Repository zeigt die Implementierung.

Außerdem hat Google Google AI Edge Foresight für den Mac vorgestellt, einen experimentellen Meeting-Begleiter. Er basiert auf EmbeddingGemma 2 und Gemma-4-Modellen und läuft vollständig lokal. Er unterstützt beim Mitschreiben, beim Indexieren und beim Wiederfinden von Transkripten und privaten Dateien und funktioniert über Systemaudio und Mikrofon mit jeder Meeting-Plattform, auch offline. Laut Google ergänzt er Stichwortnotizen um Details aus dem laufenden Gespräch, findet Bilder, Dokumente, Transkripte und Notizen per natürlicher Sprache, behält sensible Daten auf dem Gerät und verursacht keine Cloud-Abokosten.

Werkzeuge für Entwickler: ML Kit und MediaPipe Tasks

Für Android will Google das Modell in den kommenden Wochen über ML Kit bereitstellen. Nach Angaben des Unternehmens bietet das Qualität auf Produktionsniveau, ohne dass Entwickler das Modell selbst verwalten oder sich um aufgeblähte APKs sorgen müssen, dazu NPU-Beschleunigung, sofern verfügbar, und automatische Modellupdates.

Für plattformübergreifende Projekte erhalten der bestehende Embedder und der Semantic Retriever in MediaPipe Tasks Unterstützung für EmbeddingGemma 2. Google zufolge deckt das iOS, macOS, Windows, Linux und Web ab, mit einheitlicher Entwicklererfahrung über alle Plattformen hinweg.

• MediaPipe Universal Embedder Task: übernimmt Bildskalierung, Tensor-Normalisierung und multimodale Tokenisierung und liefert normalisierte Vektoren mit 768 Dimensionen oder gekürzte Vektoren mit 128 bis 512 Dimensionen.
• MediaPipe Semantic Retriever Task: eine für Edge-Geräte optimierte Vektorsuchmaschine, die Embeddings auf dem Gerät indexiert und Approximate-Nearest-Neighbour-Suchen ausführt. Laut Google liefert sie sortierte Treffer in wenigen Millisekunden.
• MediaPipe Decision Task: ermöglicht es Entwicklern, Bild-, Text- oder Audioeingaben ohne Fine-Tuning zu klassifizieren, etwa für Routing oder Aktionsvorhersage.

Was das für Entwickler und Nutzer bedeutet

Für Entwickler bietet die Veröffentlichung ein einziges Modell mit offenen Gewichten und fertige Werkzeuge für private Offline-Suche über Text, Bilder, Video und Audio. Für Nutzer zeigen die Demos Mediensuche und Meeting-Rückblicke, die laut Google die Daten auf dem Gerät belassen. Der ML-Kit-Dienst für Android steht noch aus, die Integration in Android-Produktivanwendungen hängt daher vom Rollout in den kommenden Wochen ab.