Fable 5.2 steigert Coding-Benchmark auf 71 Prozent

Fable 5.2 erreichte in Snorkel AIs Vergleich mit Fable 5.1 bei Coding-Aufgaben im ersten Versuch 71,4 Prozent, gegenüber 53,1 Prozent beim Vorgänger. Die Analyse zeigt, dass Terminal- und Ausgabefehler nahezu verschwanden. Planung und Schlussfolgerungen waren die wichtigsten Fehlerquellen.
- Fable 5.2 erreichte bei 26 verglichenen Coding-Aufgaben einen pass@1-Wert von 71,4 Prozent.
- Fable 5.1 erreichte beim selben Vergleich 53,1 Prozent pass@1.
- Fable 5.2 bestand bei 15 von 26 Aufgaben jeden Versuch, Fable 5.1 bei 6.
- Fable 5.2 verzeichnete 77 erfolgreiche Wiederherstellungen aus 90 Wiederherstellungsepisoden.
- Die verbleibenden Fehler betrafen vor allem Strategie, fehlerhafte Schlussfolgerungen und das Verständnis der Aufgabe.
Fable 5.2 liegt beim identischen Aufgabensatz vorn
Snorkel AI bewertete Fable 5.1 und Fable 5.2 anhand eines von Experten erstellten Sets aus 30 anspruchsvollen Coding-Aufgaben. Jedes Modell erhielt fünf Versuche pro Aufgabe, also 150 Durchläufe pro Modell. Für den direkten Vergleich berücksichtigte Snorkel AI Aufgaben, bei denen beide Modelle mindestens drei saubere Durchläufe absolvierten. Diese Voraussetzung erfüllten 26 Aufgaben.
Der Vergleich auf identischer Grundlage umfasste 106 Durchläufe von Fable 5.1 und 121 von Fable 5.2. Durch Umgebungs- oder Endpunktfehler verlorene Durchläufe wurden aus den gemeldeten Ergebnissen ausgeschlossen. Fable 5.2 erreichte einen pass@1-Wert von 71,4 Prozent, gegenüber 53,1 Prozent bei Fable 5.1, also einen Anstieg um 18,3 Punkte.
Auch bei drei Versuchen pro Aufgabe lag Fable 5.2 vorn. Der pass@3-Wert betrug 80,4 Prozent, gegenüber 68,8 Prozent bei Fable 5.1. Die Erfolgsquote auf Durchlaufebene stieg von 54,7 Prozent, also 58 von 106 Durchläufen, auf 70,2 Prozent, also 85 von 121 Durchläufen.
Auf Aufgabenebene löste Fable 5.2 bei 21 der 26 Aufgaben mindestens einen Versuch erfolgreich, während Fable 5.1 dies bei 18 Aufgaben schaffte. Beide Modelle lösten 16 Aufgaben mindestens einmal, Fable 5.2 allein weitere 5, Fable 5.1 allein 2. 3 Aufgaben blieben für beide ungelöst.
Zuverlässigkeit steigt, während mechanische Fehler zurückgehen
Der Benchmark-Bericht nennt die Zuverlässigkeit als einen der deutlichsten Unterschiede zwischen den Modellen. Fable 5.1 bestand nur bei 6 der 26 verglichenen Aufgaben jeden Versuch. Fable 5.2 bestand dies bei 15 Aufgaben.
Laut Snorkel AI verlor das ältere Modell häufig Versuche durch fehleranfällige Schreibvorgänge in großen Dateien, fehlerhafte Ausgaben, fehlgeschlagene Tool-Aufrufe oder andere Terminalfehler, selbst wenn die Arbeit nahezu korrekt war. Im Durchlauf mit Fable 5.2 gab es bei den analysierten, ursachenbezogenen Durchläufen keine vorzeitigen Abbrüche, keine Formatfehler und eine Trace mit falschen Argumenten.
Fable 5.2 zeigte zudem ein besseres Wiederherstellungsverhalten. Die Untersuchung erfasste 90 Wiederherstellungsepisoden, davon 77 erfolgreiche Wiederherstellungen, also 86 Prozent. Die mittlere Wiederherstellung dauerte einen Schritt, und 62 der 77 erfolgreichen Wiederherstellungen waren innerhalb von zwei Schritten abgeschlossen. Ein fehlgeschlagener Befehl wurde meist im nächsten Schritt korrigiert, statt eine Kaskade auszulösen, die den gesamten Durchlauf beendete.
Die Verifikation war die häufigste und am höchsten bewertete Fähigkeit des Modells: Es wurden 302 Fälle erfasst, von denen 71 Prozent als stark bewertet wurden. Dem Bericht zufolge überprüfte Fable 5.2 seine Arbeit ohne Aufforderung. Dazu gehörten etwa das Erstellen adversarialer Test-Fixtures, das Zählen erwarteter Ergebnisse vor dem Vergleich mit der eigenen Ausgabe und die erneute Ausführung abgeschlossener Schritte, um identische Ergebnisse zu bestätigen.
Die verbleibenden Fehler weisen auf Strategie und Schlussfolgerungen hin
Die Verbesserung beseitigte nicht alle Schwächen. In den fehlerhaften Durchläufen von Fable 5.2 waren 96 Prozent von 295 Fähigkeitsbewertungen ausreichend oder stark, nur 10 wurden als schwach bewertet. Laut Snorkel AI deutet dies darauf hin, dass das Modell häufig einen fehlerhaften Plan kompetent ausführte, statt bei der Ausführung selbst zu scheitern.
Das Fehlerprofil verlagerte sich von mechanischen Problemen hin zu Planung und Schlussfolgerungen. Eine falsche Strategie war bei 35 Prozent der ursachenbezogenen Durchläufe von Fable 5.2 ausschlaggebend, fehlerhafte Schlussfolgerungen bei 28 Prozent und ein Missverständnis der Aufgabe bei 23 Prozent. Bei Fable 5.1 gehörten dagegen vorzeitige Abbrüche mit 42 Prozent, das falsche Ausgabeformat mit 25 Prozent und falsche Tool-Argumente mit 26 Prozent zu den häufigsten Ursachen.
Zwei Aufgaben, die Fable 5.1 zuverlässig bestanden hatte, schlugen bei jedem Versuch von Fable 5.2 fehl. Bei einer dritten Aufgabe sank die Zahl erfolgreicher Versuche von fünf von fünf auf zwei von fünf. In einem Fall zog das Modell wiederholt dieselbe falsche Schlussfolgerung über das erwartete Verhalten und überprüfte seine Arbeit anschließend anhand dieser Interpretation. In einem anderen Fall missverstand es die Aufgabe von Anfang an.
Was die Ergebnisse für Coding-Nutzer bedeuten
Für Nutzer deutet der Vergleich darauf hin, dass Fable 5.2 bei diesem Aufgabensatz weniger wahrscheinlich bereits abgeschlossene Coding-Arbeit durch Probleme bei der Terminal-Interaktion oder der Auslieferung verliert. Die höhere Konsistenz bedeutet laut der Benchmark-Analyse zudem, dass möglicherweise weniger wiederholte Durchläufe nötig sind, wenn das Modell bereits eine funktionierende Lösung gefunden hat.
Die verbleibenden Einschränkungen lassen sich durch Schutzmechanismen bei der Ausführung schwerer beheben. Wenn ein Modell die falsche Strategie sauber verfolgt oder seine Arbeit anhand eines stabilen Missverständnisses der Aufgabe überprüft, kann zusätzliches Sampling das Problem möglicherweise nicht korrigieren. Snorkel AI zufolge gingen die mechanischen Fehler in dieser Untersuchung zurück, während Fehler beim Schlussfolgern bestehen blieben. Ob dieses Muster bei künftigen Generationen anhält, ist weiterhin ungeprüft.
Snorkel AI: Fable 5.2 vs Fable 5.1: Coding Benchmark Results


