Gemini 4 Argon führt Ultralytics-Benchmark von 26 Modellen für automatische Annotation an

Was Ultralytics neu hinzugefügt hat

Ultralytics hat Gemini 4 Argon zu den klassengesteuerten Vision-Language-Modellen im Annotationseditor der Ultralytics Platform hinzugefügt. Bei einem Objekterkennungs-Datensatz mit 1 bis 200 Klassen analysiert das Modell jedes Bild und liefert Bounding Boxes für die Instanzen der Datensatzklassen, die es findet. Anwender prüfen und speichern diese Boxes anschließend wie jede andere Vorhersage.

Es gibt zwei Wege, das Modell zu nutzen. Im Annotationseditor wechseln Anwender in den Smart-Modus, wählen in der Modellauswahl unter Google den Eintrag gemini-4-argon aus und klicken auf Predict. Für einen ganzen Datensatz beschriftet Batch Annotation, zu finden unter More actions auf der Datensatzseite, alle unbeschrifteten Bilder in einem einzigen Durchlauf.

Gemini 4 Argon steht in der Plattform neben weiteren Optionen zur automatischen Annotation, von SAM 3.1 mit Punkt-Prompts bis zu den eigenen, feinabgestimmten Ultralytics-YOLO-Modellen der Nutzer.

So lief der Benchmark ab

Ultralytics argumentiert, dass ein Modell, das Alltagsfotos gut verarbeitet, bei einem medizinischen Scan oder einer Leiterplatte dennoch scheitern kann. Deshalb nutzte das Unternehmen UL37, eine Sammlung realer Benchmark-Datensätze, die es für Evaluierungen einsetzt, und griff auf deren 36 Detektionsdatensätze zurück. Sie decken unter anderem medizinische Bildgebung, Luft- und Satellitenbilder, Leiterplatteninspektion, Sicherheits-Röntgen, Supermarktregale, Verkehr, Sport, Unterwasseraufnahmen und Wärmebilder ab.

Das Unternehmen schickte 108 beschriftete Bilder, drei pro Datensatz, mit der vollständigen Klassenliste des jeweiligen Datensatzes an jedes klassengesteuerte Modell der Plattform, und zwar über denselben Erkennungscode, den auch der Annotationseditor verwendet. Die zurückgegebenen Boxes wurden mit mAP50 gegen die Ground Truth bewertet. Alle Anbieter liefen mit ihrem Standardwert für den Reasoning-Aufwand, und laut Ultralytics verschoben wiederholte Durchläufe die Werte nur um etwa 0,005 mAP50.

Gemini 4 Argon erreichte 0,565 mAP50. Dahinter folgten GPT-6.1 Sol (0,491), Gemini 3.8 Flash (0,489), Claude Opus 5.5 (0,476) und GPT-6 Astra (0,470). Das Modell beantwortete alle Anfragen und benötigte im Median rund fünf Sekunden pro Bild. Ultralytics zufolge geht der Vorsprung nicht auf längeres Nachdenken zurück: Das Modell verbrauchte im Median etwa 150 Output-Tokens pro Bild, ungefähr so viele wie Claude Opus 5.5 und deutlich weniger als GPT-6.1 Sol oder Gemini 3.8 Flash.

In 12 realen Anwendungsbereichen übertraf Gemini 4 Argon in 11 den Durchschnitt aller 26 Modelle und lag bei Unterwasseraufnahmen gleichauf. Die größten Zugewinne gab es bei Straßen und Verkehr (0,59 gegenüber 0,17) sowie bei Luftbildern (0,65 gegenüber 0,30). In der medizinischen Bildgebung verdoppelte es den Durchschnitt (0,57 gegenüber 0,28). Industrielle Leiterplatten- und Sicherheits-Röntgenbilder blieben auch bei Gemini 4 Argon unter 0,2 mAP50.

Kosten und Einrichtung

Kostenpflichtige Modelle laufen über den eigenen API-Schlüssel des Nutzers, sodass der Anbieter jede Vorhersage direkt abrechnet. Zu Googles Einführungspreisen, die bis zum 30. November 2026 gelten, kostete Gemini 4 Argon im Benchmark etwa 7,60 US-Dollar pro 1.000 Bilder. Nach diesem Datum verdoppelt sich der Preis bei gleicher Nutzung auf rund 15 US-Dollar pro 1.000 Bilder.

Ultralytics zufolge sind Premium-Modelle teurer, ohne besser abzuschneiden. GPT-6 Astra und Claude Fable 5.1 kosteten etwa 47 und 37 US-Dollar pro 1.000 Bilder und erzielten 0,470 und 0,372. Bei den günstigeren Optionen kam Claude Haiku 5.5 bei etwa 0,35 US-Dollar pro 1.000 Bilder auf 0,384 mAP50, Gemini 3.5 Flash-Lite bei etwa 1,36 US-Dollar auf 0,363. Qwen3.8 27B war das genaueste auf der Ultralytics Platform gehostete Modell, für das kein Anbieter-Schlüssel nötig ist.

Zum Einstieg hinterlegen Nutzer unter Settings > API Keys in dem Workspace, dem der Datensatz gehört, einen Google-API-Schlüssel oder bitten den Workspace-Eigentümer darum. Batch Annotation erhebt die übliche Verarbeitungsgebühr der Plattform von 1,00 US-Dollar pro 1.000 Bilder, getrennt von dem, was Google berechnet. Jeder Durchlauf speichert zuvor eine Datensatzversion, sodass Nutzer zurückgehen können.

Was das für Annotationsteams bedeutet

Für Teams, die Detektionsdatensätze beschriften, deuten die Ergebnisse darauf hin, dass Gemini 4 Argon die stärkste klassengesteuerte Option der Plattform ist, zumindest auf dem eigenen Testset von Ultralytics. Das Unternehmen rät dennoch, die Boxes als ersten Entwurf für eine Prüfung durch Menschen (Human-in-the-Loop) zu behandeln und vor der Annotation eines ganzen Datensatzes einige Vorhersagen an den eigenen Bildern zu kontrollieren. Insbesondere Teams, die mit Leiterplatten- oder Sicherheits-Röntgenbildern arbeiten, sollten mit umfangreichen Korrekturen rechnen.

Auch das Zeitfenster der Einführungspreise ist für die Budgetplanung relevant: Die Kosten im Benchmark verdoppeln sich nach dem 30. November 2026. Ist ein Datensatz beschriftet, können Nutzer im selben Workspace ein Ultralytics-YOLO26-Modell darauf trainieren.