Gemini 4 Carbon führt Ultralytics’ VLM-Auto-Annotation-Benchmark an

11. November 2026, 12:14Von der KI Nachrichten RedaktionQuelle: Ultralytics

Gemini 4 Carbon hat unter 45 Vision-Language-Modellen den Spitzenplatz im UL37-Auto-Annotation-Benchmark von Ultralytics erreicht. Das Modell erzielte 0,584 mAP 50 sowie die höchste Präzision und den höchsten Recall. GPT-6.1 Terra bleibt eine günstigere Alternative: Mit rund 96 Prozent von Carbons mAP 50 kostet es beim Anbieter etwa ein Drittel.

Das Wichtigste in Kürze

Gemini 4 Carbon belegt unter 45 Modellen den ersten Platz auf UL37.
Das Modell erzielt 0,584 mAP 50, eine Präzision von 0,685 und einen Recall von 0,642.
GPT-6.1 Terra kostet 4,36 $ je 1.000 Bilder, Carbon dagegen 12,93 $.
Carbons Einführungspreise für Token ändern sich am 1. Dezember 2026.
Terra bleibt das führende Modell bei den Datensätzen TN5000 und TXL-PBC.

Carbon führt bei den wichtigsten Genauigkeitswerten

Ultralytics setzte Gemini 4 Carbon in seiner Momentaufnahme der VLM-Rangliste vom 11. November 2026 auf den ersten Platz. Das Modell erzielte auf UL37, einem Benchmark aus 36 Datensätzen zur Objekterkennung, 0,584 mAP 50 und 0,371 mAP 50-95.

Carbon erreichte außerdem die höchste Präzision des Benchmarks mit 0,685 sowie den höchsten Recall mit 0,642. Die Präzision misst den Anteil der erstellten Boxen, die den erwarteten Objekten entsprechen. Der Recall misst den Anteil der markierten Objekte, die eine Box erhalten. Laut Ultralytics bedeutet diese Kombination, dass Prüfer bei Carbons ersten Annotationen weniger Boxen löschen oder Objekte einzeichnen müssen.

UL37 bewertet 360 Bilder, jeweils 10 aus jedem Datensatz. Die Sammlung deckt unter anderem medizinische Aufnahmen, Luft- und Wärmebilder, Verkaufsregale, Sport, Dokumente und Leiterplatten ab. Jeder Datensatz zählt gleich stark, und die Bilder durchlaufen dieselbe Produktionspipeline wie bei Nutzern der Ultralytics Platform.

Starke Ergebnisse über unterschiedliche Bilddatensätze hinweg

Carbon erzielte laut Ultralytics in Datensätzen aus neun Bereichen das beste Ergebnis. Dazu gehören 0,955 bei infraroten Bildern von LLVIP, 0,942 bei Cheng Brain Tumor MRI, 0,882 bei Basketball and Hoop, 0,821 bei FloorPlanCAD 2 und 0,788 bei RUOD Underwater.

Auch bei Wärmebildern von HIT-UAV-Drohnen mit 0,689, bei Regalen von SKU110K mit 0,671, bei PlantDoc mit 0,594, bei Airbus Oil Storage mit 0,381 und bei Netzhautläsionen von DDR mit 0,133 lag das Modell vorn. Bei einigen Datensätzen waren die Abstände äußerst knapp. Carbon erreichte bei RPC und CeyMo den bisherigen Bestwert, bei DDR lag es mit 0,001 vorn.

Der umfangreiche Einzelhandelsdatensatz SKU110K zeigt den möglichen Wert des Ergebnisses. Die 10 Benchmark-Bilder enthalten 1.666 markierte Produkte in einer Klasse. Carbons mAP-50-Wert von 0,671 übertraf den bisherigen Bestwert von Terra mit 0,619.

Terra bleibt die preiswerte Wahl

GPT-6.1 Terra belegte mit 0,560 mAP 50 den zweiten Platz. Das Modell erzielte 0,345 mAP 50-95, verglichen mit 0,371 bei Carbon. Terra bleibt in der Ranglistentabelle außerdem bei zwei Datensätzen das beste Modell: bei TN5000 für Schilddrüsen-Ultraschall mit 0,935 und bei TXL-PBC für die Mikroskopie von Blutzellen mit 0,889.

Der größte Unterschied zwischen den Modellen liegt bei den Kosten. Ultralytics schätzt die Anbieter-Kosten für Carbon auf 12,93 $ je 1.000 Bilder und für Terra auf 4,36 $. Carbons mediane Zeit pro Bild lag bei 7,6 s, bei Terra waren es 5,1 s. Im Benchmark schlugen bei Carbon 1 Prozent der Anfragen fehl, bei Terra waren es 0 Prozent.

Google berechnet für Carbon bis zum 30. November 2026 einen Einführungspreis von 2 $ je eine Million Eingabe-Token und 10 $ je eine Million Ausgabe-Token. Ab dem 1. Dezember steigen die Preise laut Quelle auf 4 $ und 20 $. Bei gleicher Token-Nutzung werden Carbons Kosten laut Ultralytics von 12,93 $ auf etwa 26 $ je 1.000 Bilder steigen.

Was das Ergebnis für die Datensatz-Annotation bedeutet

Carbon könnte laut Ultralytics für belebte Einzelhandelsszenen, Wärme- und Luftbilder, Grundrisse und CAD-Zeichnungen sowie für Datensätze geeignet sein, bei denen die Ergebnisse auf der Modellseite einen klaren Vorsprung zeigen. Terra könnte die bessere Wahl für große allgemeine Stapelverarbeitungen sein, wenn das Budget wichtiger ist als ein Unterschied von 0,024 mAP 50, ebenso für Daten, die den Datensätzen TN5000 und TXL-PBC ähneln.

Carbon wurde am 10. November 2026 für alle zahlenden Entwickler und Unternehmen verfügbar und begann mit der Bereitstellung für Google AI Ultra-Abonnenten. Das Modell ist über die API in Google AI Studio und Gemini for business sowie für Ultra-Abonnenten über die Gemini-App, den AI Mode und Antigravity verfügbar. Nutzer der Ultralytics Platform können die von Carbon erstellten Boxen und die erwarteten Annotationen auf der Modellseite prüfen, bevor sie ein Modell auswählen.

Batch Annotation berechnet zusätzlich eine Verarbeitungsgebühr der Ultralytics Platform von 1,00 $ je 1.000 Bilder, mit einem Mindestbetrag von 0,01 $ pro Lauf. Der Anbieter rechnet den eigenen Schlüssel des Nutzers direkt ab. Ultralytics zufolge wird auf Token kein Aufschlag erhoben.