Cloudflares Entscheidungsmodell Clef läuft jetzt lokal und in der Ollama-Cloud

Was Clef leistet und wie es aufgebaut ist

Clef ist ein Fine-Tuning von Qwen3.8-27B und steht unter der Apache-2.0-Lizenz. Laut Ollama ist es mit den APIs von Jev und System One kompatibel. Es kann Entscheidungen über Text, JSON oder Bilder treffen, darunter Screenshots, Belege, Formulare und Fotos.

Das Modell arbeitet anders als ein typisches Chatmodell. Laut Ollama liest Clef die Eingabe einmal und bewertet gleichzeitig jede Antwort auf jede Frage, statt eine Antwort Wort für Wort zu schreiben. Das Ergebnis ist eine typisierte Entscheidung mit Wahrscheinlichkeiten und kein Freitext.

Von Ollama genannte Einsatzfelder

Ollama nennt fünf Aufgaben, für die Clef gedacht ist:

• Anfrage weiterleiten: Ziele definieren und festlegen, wann welches gilt. Clef liefert das gewählte Ziel und die Wahrscheinlichkeit für jedes Ziel.
• Bedingung prüfen: eine Ja-Nein-Frage und die Belege vorgeben. Clef gibt wahr oder falsch samt der jeweiligen Wahrscheinlichkeit zurück.
• Richtlinie anwenden: Regeln und zulässige Ergebnisse festlegen, um auf Basis von Text oder Bildern eine typisierte Entscheidung zu erhalten.
• Dokument lesen: ein Foto einer Seite und die auszuwertenden Felder übergeben und feldweise Entscheidungen mit Wahrscheinlichkeiten erhalten.
• Moderation von Tool-Aufrufen: den Tool-Aufruf eines Agenten prüfen, bevor er ausgeführt wird.

Benchmarks und Latenz

Die Zahlen stammen aus Cloudflares Ankündigung und beruhen auf Auswertungen des Jev Decision Index. Laut Ollama führt Clef Cloudflares Decision Index an und schlägt Jev in den meisten Benchmarks der Testreihe.

Auf BFCL (case exact) erreicht Clef 98,47 gegenüber 95,75 bei Jev, auf API-Bank (Accuracy) 91,93 gegenüber 88,19. Bei Home appliances (case exact) sind es 82,95 gegenüber 52,27, bei BANKING77 (Macro-F1) 94,20 gegenüber 79,74. Auf CLINC150+OOS (Macro-F1) kommt Clef auf 97,43 gegenüber 89,27. Jev liegt bei When2Call (80,97 zu 72,37) und BRIGHT (47,52 zu 45,91) vorn. Bei PhishNChips führt DiffusionGemma mit 85,35 vor Clef mit 79,60.

In den eigenen Workflow-Evals von Typesafe schlägt Clef Jev in 3 von 4 Bereichen. Es erreicht 64,7 bei der Rechnungsverarbeitung (Jev 61,8), 76,3 im Kundenservice (Jev 76,0) und 62,9 bei Sicherheitsvorfällen (Jev 61,7). Jev liegt bei der Observability von Agenten-Traces mit 71,6 zu 68,5 vorn.

Über 43 Eval-Benchmarks hinweg liegt die mediane Latenz von Clef bei 209,3 Millisekunden, das 95. Perzentil bei 238,6 Millisekunden. Für Jev werden 524,1 und 536,0 Millisekunden angegeben. Die kleinere Variante Clef-flash wird mit einem Median von 38,8 Millisekunden und einem 95. Perzentil von 122,4 Millisekunden geführt.

Was das für Entwickler bedeutet

Für Entwickler, die Modelle über Ollama betreiben, ist Clef eine offene, unter Apache 2.0 lizenzierte Option für strukturierte Entscheidungen wie Routing, Richtlinienprüfungen und Dokumentenerkennung, entweder auf eigener Hardware oder in der Ollama-Cloud. Die von Ollama genannte Kompatibilität mit den APIs von Jev und System One kann die Integration in bestehende Setups erleichtern. Die Benchmark-Ergebnisse stammen von Cloudflare und Ollama, und die Tabellen zeigen, dass der Vorsprung gegenüber anderen Modellen je nach Aufgabe unterschiedlich ausfällt.

Weitere Details verweist Ollama auf die Clef-Modellseite und auf die Dokumentation zur Ollama Cloud.