Claude Fable 5.2 verweigerte im Ultralytics-Test jede Sicherheitsröntgenaufnahme

Jede IEDXray-Anfrage wurde blockiert

Ultralytics testete Claude Fable 5.2 mit UL37, einem Benchmark mit 360 Bildern aus 36 Datensätzen zur Objekterkennung. Der IEDXray-Datensatz enthält Bilder von Gepäckscannern, die zum Training von Bedrohungserkennungssystemen für Flughäfen, Grenzen und die Veranstaltungssicherheit entwickelt wurden. Seine 11 Klassen umfassen alltägliche Elektronik, modifizierte Versionen dieser Geräte und Sprengstoffe.

Claude Fable 5.2 verweigerte alle 10 IEDXray-Scans. In einer Anfrage bat Ultralytics das Modell, Begrenzungsrahmen um einen Laptop und Batterien zu zeichnen, die in einer Tasche zu sehen waren. Die API von Anthropic antwortete: „Diese Anfrage löste Einschränkungen für Inhalte im Zusammenhang mit der Entwicklung von Sprengstoffen mit hoher Sprengkraft aus und wurde gemäß der Nutzungsrichtlinie von Anthropic blockiert.“

Ultralytics zufolge zeigten fünf der 10 Bilder ausschließlich ein gewöhnliches Smartphone, einen Laptop, Pager oder ein Walkie-Talkie. Das Unternehmen erklärte, die Antworten hätten einen Verweigerungsgrund, null Ausgabetokens und keine Begrenzungsrahmen enthalten. Auf der Ultralytics Platform sehen Nutzer eine Meldung, dass der Prozess vor Abschluss der Erkennungen beendet wurde, und den Hinweis, ein anderes Modell zu verwenden.

Eine Änderung der Richtlinie gegenüber Claude Fable 5.1

Ultralytics erklärte, die Blockierung scheine eher durch die Aufgaben- und Datensatzkontext als durch den Inhalt der einzelnen Bilder ausgelöst worden zu sein. Claude Fable 5.1 verweigerte einen der 10 Scans, Claude Fable 5.2 dagegen alle 10.

In der Ankündigung zum Start erklärte Anthropic, die Schutzmechanismen von Claude Fable 5.2 für Cybersecurity und Biologie hätten in ersten Tests rund 55% weniger unnötige Blockierungen erzeugt als Claude Fable 5.1. Für seinen Sicherheitsröntgentest meldete Ultralytics das Gegenteil. Anthropic erklärte außerdem, dass Claude Fable 5.2 und Claude Mythos 5.2 dasselbe zugrunde liegende Modell nutzen. Mythos 5.2 wird jedoch ohne bestimmte Schutzmechanismen für Cybersecurity und Biologie ausgeliefert und ist nur für Organisationen verfügbar, die Anthropic überprüft hat.

Laut Ultralytics verweigerte kein anderes getestetes Modell einen IEDXray-Scan. Dazu gehörten Modelle von OpenAI, Google, xAI, Meta, chinesischen Forschungslaboren sowie Anthropics Claude Opus 5.5, Sonnet 5.5 und Haiku 5.5. Auch die 19 Modelle, die auf den eigenen Servern der Ultralytics Platform gehostet werden, kennzeichneten jeden Scan.

Starke Ergebnisse abseits von Sicherheitsröntgenbildern

Claude Fable 5.2 erzielte auf UL37 einen mAP-50-Wert von 0.544 und belegte hinter GPT-6.1 Terra den zweiten Platz unter 44 Modellen. Beim strengeren Maßstab mAP 50-95 lag das Modell mit einem Wert von 0.347 an der Spitze. Laut Ultralytics waren die Begrenzungsrahmen des Modells die präzisesten, die das Unternehmen bisher gemessen hatte.

Das Modell schaffte es bei 22 der 36 Datensätze unter die besten fünf und belegte bei der Erkennung von UEC-Schulessenstabletts, Basketball und Körben sowie bei Blatterkrankungen in PlantDoc den ersten Platz. Auch im Einzelhandel lag es vorn und setzte sich in den Bereichen Natur sowie Landwirtschaft knapp gegen Claude Opus 5.5 durch. Bei 10 Referenzbildern aus COCO 2017 erreichte es 0.686, das beste Ergebnis eines Sprachmodells in diesem Test.

Die UL37-Ergebnisübersicht weist eine Präzision von 0.602 und einen Recall von 0.620, eine mediane Zeit von 4.6 Sekunden pro Bild sowie Provider-Kosten von $37.55 pro 1,000 Bilder aus. Von 360 Anfragen schlugen 11 fehl. Darunter waren die 10 Verweigerungen und eine Anfrage, die das 115-Sekunden-Limit der Ultralytics Platform überschritt.

Was das für Annotationsteams bedeutet

Ultralytics zufolge ist Claude Fable 5.2 ab heute auf der Ultralytics Platform verfügbar. Für allgemeine Kennzeichnungsaufgaben zählt das Modell laut den Benchmark-Ergebnissen zu den stärksten getesteten Modellen der Plattform. Für Workflows mit Sicherheitsröntgenbildern bedeuten die Verweigerungen jedoch, dass Nutzer ein anderes Modell auswählen oder die Begrenzungsrahmen selbst einzeichnen müssen.

Ultralytics meldete für Moondream 3.1 auf IEDXray einen mAP-50-Wert von 0.27, während Gemini 4 Argon 0.30 erreichte. Das Unternehmen erklärte, Modelle mit offenen Gewichten könnten eine Richtlinienschicht des Anbieters zwischen Nutzer und Modellausgabe vermeiden. Außerdem könnten Teams nach der Kennzeichnung ihren eigenen Ultralytics-YOLO26-Detektor trainieren, sodass das eingesetzte Modell unter ihrer Kontrolle bleibt.