Gemini 4 Hydrogen belegt Platz drei im Ultralytics-Test zur automatischen Annotation

Gemini 4 Hydrogen belegte im Benchmark von Ultralytics zur automatischen Annotation mit 0.553 mAP 50 den dritten Platz unter 46 Vision-Language-Modellen. Der Test umfasste 36 Datensätze zur Objekterkennung. Das Modell ist in der Ultralytics Platform für die automatische Annotation verfügbar, sein Tokenverbrauch führt jedoch zu höheren geschätzten Kosten pro Bild als bei mehreren Wettbewerbern.
- Gemini 4 Hydrogen erzielte 0.553 mAP 50 und belegte unter 46 VLMs den dritten Platz.
- Ultralytics schätzte die Anbietergebühren auf $20.32 pro 1,000 Bilder.
- Hydrogen lag bei PlantDoc, SeaDronesSee 2 und IEDXray an der Spitze.
- Bei Kvasir-SEG und EgoHands lag das Modell gleichauf mit dem ersten Platz.
- Hydrogen ist in der Ultralytics Platform für die automatische Annotation verfügbar.
Hydrogen belegt Platz drei auf der Ultralytics-Rangliste
Ultralytics zufolge erreichte Gemini 4 Hydrogen auf UL37, dem eigenen Benchmark für die automatische Annotation zur Objekterkennung, 0.553 mAP 50 und 0.350 mAP 50-95. Das Modell lag hinter Gemini 4 Carbon mit 0.584 und GPT-6.1 Terra mit 0.560. Es platzierte sich vor Claude Fable 5.2 und Gemini 4 Argon.
UL37 prüft, wie genau die von einem Modell vorhergesagten Boxen mit menschlichen Annotationen auf 360 Bildern übereinstimmen. Der Benchmark umfasst jeweils 10 Bilder aus 36 realen Datensätzen zur Objekterkennung. Die Themen reichen von Schilddrüsenultraschall und Wärmebildaufnahmen von Drohnen über Verkaufsregale und Grundrisse bis hin zu Leiterplatten. Laut Ultralytics durchläuft jedes Bild dieselbe Platform-Pipeline und verwendet die eigenen Klassennamen des jeweiligen Datensatzes. Jeder Datensatz wird gleich gewichtet.
Hydrogens Wert von 0.350 mAP 50-95, bei dem auch eng anliegende Boxen honoriert werden, war nur von Carbons 0.371 übertroffen worden. Das Modell erreichte eine Präzision von 0.63 und einen Recall von 0.62. Es gab keine fehlgeschlagenen Anfragen und keine Verweigerungen. Die mediane Verarbeitungszeit lag bei 7.2 Sekunden pro Bild.
Niedrigere Tokenpreise führen nicht zu geringeren Bildkosten
Google gibt für Hydrogen einen Preis von $1.50 pro einer Million Eingabe-Token und $7.50 pro einer Million Ausgabe-Token an. Diese Sätze liegen unter den Einführungspreisen von Carbon. Ultralytics schätzte die Anbietergebühren für Hydrogen jedoch auf $20.32 pro 1,000 Benchmark-Bilder. Die Schätzung berücksichtigt nicht die Bearbeitungsgebühr der Platform. Diese beträgt bei jedem Modell zusätzlich $1.00 pro 1,000 Bilder.
Zum Vergleich: Für GPT-6.1 Terra wurden $4.36 pro 1,000 Bilder geschätzt, für Gemini 4 Argon $7.60. Die Schätzung für Claude Fable 5.2 lag bei $37.55. Carbons Einführungspreis führte zu geschätzten Kosten von $12.93. Ultralytics zufolge würde der Wert nach den ab dem 1. Dezember angekündigten Preisen jedoch bei etwa $25.87 liegen.
Ultralytics führt den Unterschied auf den Tokenverbrauch zurück. Ein Vision-Language-Modell rechnet sowohl das Bild und den Prompt, die es verarbeitet, als auch jedes ausgegebene Token ab, einschließlich der Reasoning-Token. Hydrogens Tokenpreise entsprechen 75% von Carbons Einführungspreisen. Im Benchmark verbrauchte Hydrogen pro Bild jedoch ungefähr doppelt so viele preisgewichtete Token wie Carbon. Im Vergleich zu Gemini 3.8 Flash nutzte Hydrogen laut den Berechnungen von Ultralytics etwa 1.7-mal so viele preisgewichtete Token pro Bild.
Starke Ergebnisse bei Pflanzen, Seenotrettung und Röntgenbildern
Hydrogen erzielte unter den 46 getesteten Modellen die höchste Punktzahl bei PlantDoc, SeaDronesSee 2 und IEDXray. Bei Kvasir-SEG und EgoHands lag es gleichauf mit dem besten Ergebnis.
Auf PlantDoc, das 29 Klassen gesunder und erkrankter Blätter von Nutzpflanzen umfasst, erreichte Hydrogen 0.638. Bei SeaDronesSee 2 kam es auf 0.596. Der Datensatz enthält Aufnahmen von Schwimmern, Booten und Rettungsausrüstung auf See. Auf IEDXray, einem Datensatz zu versteckten Komponenten explosiver Vorrichtungen in Gepäck-Röntgenbildern, erzielte es 0.315. Ultralytics bezeichnete diesen Datensatz als schwierig und wies darauf hin, dass alle Modelle niedrige Werte erreichten.
Auf Kvasir-SEG, einem Datensatz mit Endoskopieaufnahmen von Polypen, erzielte das Modell 0.805 und lag damit gleichauf mit dem Spitzenwert. Bei EgoHands kam es auf 0.995 und teilte sich den ersten Platz mit GPT-6 Astra. Die Ergebnisse unterschieden sich je nach Datensatz jedoch deutlich. Auf DeepPCB erzielte Hydrogen 0.000, auf TBX11K 0.013 und auf GroundCUA 0.021. Ultralytics empfiehlt, Ergebnisse einzelner Datensätze als Anhaltspunkte für Tests mit den eigenen Bildern zu betrachten und nicht als abschließende Bewertung.
Hydrogen ist für Datensätze zur Objekterkennung mit 1 bis 200 Klassen ausgelegt und gibt Boxen unter Verwendung der eigenen Klassennamen eines Datensatzes zurück. Nutzer prüfen diese Annotationen vor dem Training. Ultralytics weist außerdem darauf hin, dass Boxen in medizinischen Bildern als Entwürfe zu behandeln sind, die von medizinischen Fachleuten geprüft und freigegeben werden müssen, und nicht als Diagnosen. Die Ergebnisse deuten darauf hin, dass Hydrogen für ausgewählte Annotationsaufgaben nützlich sein kann. Die Kosten pro Bild und die uneinheitliche Leistung machen Tests mit repräsentativen Daten jedoch wichtig.
Ultralytics: Gemini 4 Hydrogen auto-annotation: cheaper per token, pricier per image


