Arize-Test: Opus 5.5 verzichtet fast ganz auf Gedankenstriche und halbiert andere Claude-Marotten
Anthropic sagt, Opus 5.5 habe Claudes Schreibstil repariert. Eine Auswertung von Arize stützt vor allem den Teil mit den Gedankenstrichen. Andere stilistische Tics gingen um etwa die Hälfte zurück, was der Arize-Autor mit „besser, aber nicht behoben“ zusammenfasst.
- Arize hat Anthropics Behauptung, Opus 5.5 habe Claudes Schreibstil repariert, anhand von 20 eingefrorenen Briefings und 80 Beiträgen geprüft.
- Gedankenstriche sanken von 12,9 pro 1.000 Wörter bei Opus 5 auf zwei in 57.000 Wörtern Ausgabe von Opus 5.5.
- Die vom Span-Judge gefundenen Claudismen gingen von 4,79 auf 2,38 pro 1.000 Wörter zurück, ein Minus von 50 Prozent.
- Eine Phrasenliste deckte nur 9 von 153 menschlichen Markierungen ab, weil Claudismen rhetorische Muster und keine festen Formulierungen sind.
- Der Arize-Autor kommt zu dem Schluss, dass das Schreiben besser, aber nicht behoben ist.
Anthropics Behauptung und wie sie getestet wurde
In der Ankündigung zu Opus 5.5 heißt es: „We’ve made major improvements to the way Opus 5.5 writes and communicates, one of the most common areas of feedback we heard about Opus 5“, und das Modell verwende seltener Fachjargon oder eigenwillige Formulierungen. Laut dem Arize-Beitrag gingen Anthropic-Mitarbeiter noch weiter: Sholto Douglas schrieb „We fixed the writing“, Tom Brown schrieb „we fixed the accent“.
Ein Arize-Autor wollte das als überprüfbare Behauptung behandeln. Mit Arize AX, der Evaluierungsplattform des Unternehmens, baute er ein Tool namens claude-compare und durchlief einen Standardablauf: Datensatz erstellen, für jedes Modell ein Experiment laufen lassen, die Ausgaben von Hand annotieren, aus diesen Annotationen einen Evaluator bauen und ausführen.
Der Datensatz umfasst 20 eingefrorene Recherche-Briefings, jeweils mit Notizen für einen Blogbeitrag. Sie decken fünf Genres (Meinungsstück, technische Erklärung, Tutorial-Einstieg, Nachrichtenanalyse, Produktankündigung) und fünf Themenbereiche ab (KI, Reisen, Kochen, Spiele, Bücher). Die Briefings sind als Stichpunktfragmente verfasst, damit der Stil von Opus 5 nicht in die Eingabe einfließen kann. Das schreibende Modell erhält weder Tools noch Netzzugang.
Ein kontrollierter Vergleich
Um das Modell isoliert zu betrachten, erhielten Opus 5 und Opus 5.5 einen identischen Prompt. Der Effort wurde auf „medium“ festgelegt, weil Opus 5 standardmäßig auf „high“ und Opus 5.5 auf „medium“ läuft. Außerdem prüfte das Testgerüst bei jeder Antwort, welches Modell tatsächlich geantwortet hatte. Jedes Modell lief zweimal über den Datensatz. Das ergab vier Experimente, 80 Beiträge und rund 110.000 Wörter.
Als Referenz las der Autor alle 40 Opus-5-Beiträge mit etwa 53.000 Wörtern in einem einzigen Google Doc und kommentierte jede Formulierung, bei der er zusammenzuckte, mit „Claudism“. Das ergab 153 Markierungen in 38 der 40 Beiträge.
Claudismen sind Muster, keine Formulierungen
Die Markierungen entsprachen nicht den Erwartungen des Autors. Eine handgeschriebene Liste bekannter Claudismen wie „load-bearing“, „delve“, „crucially“ und „genuinely“ deckte nur 9 der 153 Markierungen ab. „Load-bearing“ selbst kam in 53.000 Wörtern von Opus 5 nur dreimal vor.
Was der Autor markiert hatte, waren rhetorische Muster. Die größte Gruppe mit etwa 48 Markierungen waren Textstellen, die behaupten, etwas sei wichtig, statt zu zeigen, warum, etwa „The interaction matters“ oder „deserves a moment“. Dahinter folgten Kontrast-Umdeutungen mit etwa 30 („It’s a topology, not a genre.“), Urteilsverstärker mit etwa 25 („the whole point“), Wegweiser-Formulierungen mit etwa 20, Standardmetaphern mit etwa 10 und Gotcha-Rahmungen mit etwa 7. Das Fazit des Autors: „It’s not a phrase problem. It’s a moves problem.“
Das prägte den Evaluator. Ein erster Judge, der jedem Beitrag eine einzelne Note von 1 bis 5 gab, ließ sich schwer überprüfen. Deshalb wechselte der Autor zu einem Span-Judge, der jeden Claudismus als exaktes Zitat in einer von sechs Muster-Kategorien zurückgibt. Seine Ausgabe lässt sich mit den menschlichen Markierungen abgleichen. Gedankenstriche zählt schlichter Code. Als Judge dient gpt-6-luna von OpenAI, damit Claude nicht die eigene Modellfamilie bewertet. Die Ergebnisse sind auf 1.000 Wörter normiert, da Opus 5.5 rund 8 % länger schreibt.
Die Ergebnisse
Das Ergebnis zu den Gedankenstrichen stammt vom Code-Evaluator, ganz ohne Judge. Opus 5 setzte 12,9 Gedankenstriche pro 1.000 Wörter. Opus 5.5 verwendete in seinen gesamten 57.000 Wörtern Ausgabe zwei, also etwa 0,05 pro 1.000 Wörter. Das ist ein Rückgang um 99,6 Prozent.
Der Span-Judge fand bei Opus 5 4,79 Claudismen pro 1.000 Wörter, bei Opus 5.5 waren es 2,38, ein Rückgang um 50 Prozent. Das Urteil des Arize-Autors lautet: besser, aber nicht behoben.
Was das für Nutzer bedeutet
Für Leserinnen, Leser und Redaktionen, die Claudes Texte in Beiträgen und Artikeln erkennen wollen, ist das auffälligste Merkmal, der Gedankenstrich, unter diesen Testbedingungen bei Opus 5.5 praktisch verschwunden. Die subtileren Angewohnheiten bleiben mit etwa der Hälfte ihrer früheren Häufigkeit bestehen. Da es sich um rhetorische Muster und nicht um feste Formulierungen handelt, sind einfache Phrasenlisten laut dem Autor kein verlässliches Mittel, sie aufzuspüren. Der Test umfasst 20 Briefings und die Markierungen eines einzelnen Prüfers, ist also eine einzelne Auswertung und kein abschließendes Maß.
