Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

OpenRouter stellt praxisnahe Methode zum Benchmarking von LLMs vor

12. November 2026Von der KI Nachrichten RedaktionQuelle: OpenRouter
OpenRouter stellt praxisnahe Methode zum Benchmarking von LLMs vor
Bild: OpenRouter

OpenRouter hat einen Leitfaden zum Benchmarking großer Sprachmodelle mit anwendungsspezifischen Aufgaben, codebasierter Bewertung und wiederholbaren Durchläufen veröffentlicht. In einer Beispielstudie bestand GPT-6.1 Sol 180/180 Tests, während DeepSeek mit 157/180 bestandenen Tests die niedrigsten Antwortkosten verzeichnete.

Das Wichtigste in Kürze
  • OpenRouter empfiehlt anwendungsspezifische Aufgaben mit per Skript überprüfbaren Antworten.
  • Grader sollten korrekte, falsche und fehlerhafte Modellantworten testen.
  • GPT-6.1 Sol bestand bei OpenRouters 60 synthetischen Aufgaben 180/180 Tests.
  • DeepSeek hatte die niedrigsten Antwortkosten und bestand 157/180 Tests.
  • Die öffentliche Rangliste stimmte nur schwach mit der Studie überein, mit einer Spearman-Korrelation von 0.109.

Tests an der Anwendung ausrichten

OpenRouter empfiehlt, Modelle anhand von Belegen aus den Eingaben und Ausgabeformaten einer Anwendung auszuwählen, statt sich ausschließlich auf öffentliche Ranglisten zu verlassen. Jede Benchmark-Aufgabe sollte eine Eingabe, eine erwartete Antwort und einen Ausgabevertrag definieren, den ein Skript überprüfen kann.

Der Leitfaden beschreibt Aufgaben zu Rechnungsberechnungen, Datumsangaben und Zeitplänen, der E-Mail-Extraktion, Python-Funktionen, Ausgabevorgaben und Erstattungsentscheidungen. Für die von OpenRouter beschriebene Studie erstellte das Team vor dem abschließenden Durchlauf 40 grundlegende und 20 anspruchsvolle Aufgaben. Zu den Beispielen gehören Anforderungen wie die Ausgabe einer Zahl mit genau zwei Nachkommastellen, die Erstellung eines JSON-Objekts mit vorgegebenen Schlüsseln und Werten oder die Ausgabe ausschließlich von APPROVE oder DENY.

OpenRouter rät außerdem, Referenzwerte unabhängig zu berechnen und Fälle zur Optimierung von Prompts von der abschließenden Bewertung getrennt zu halten. Bei seinen Erstattungsbeispielen testet der Benchmark Richtliniengrenzen, darunter genau $200 und 30 Tage sowie Werte knapp oberhalb der jeweiligen Schwelle.

Codebasierte Bewertung braucht eigene Prüfungen

Der Leitfaden empfiehlt bei festen Ausgaben einen exakten Abgleich sowie Schema- oder Wertprüfungen für JSON. Grader sollten nur zulässige Abweichungen normalisieren. Prosa rund um eine Zahl zu akzeptieren, kann laut OpenRouter einen Fehler verschleiern, wenn die Anwendung ausschließlich eine Zahl verlangt.

Grader sollten anhand bekanntermaßen korrekter, falscher und fehlerhafter Antworten getestet werden. OpenRouter berichtet, dass ein Checker in der Entwicklungsphase gültigen Python-Code zunächst ablehnte, weil ord und type fehlten. Das Team korrigierte das Problem vor der abschließenden Studie und legte CPython 3.12.10/WASI mit Ressourcenbeschränkungen fest. Der Runner für die vollständige Studie isoliert generierten Code und bricht ab, wenn die Sandbox-Einrichtung fehlt, während das Lehrbeispiel keinen generierten Code ausführt.

Diese Sicherheitsvorkehrungen sind wichtig, weil ein fehlerhafter Checker Infrastruktur- oder Bewertungsfehler in scheinbare Modellfehler verwandeln kann. Laut Leitfaden decken die Offline-Fixtures Grenzfallentscheidungen, ungültige Formate und abgeschnittene Antworten ab, ohne ein Modell aufzurufen.

Das Beispiel ermöglicht kontrollierte Vergleiche

OpenRouter stellt eine begleitende ZIP-Datei mit einem Lehr-Runner aus der Standardbibliothek, einem JSON-Beispiel und Vergleichswerkzeugen bereit. Nutzer sollen die SHA-256-Prüfsumme des Archivs vor dem Entpacken mit a38ee17a2eb7090f9f4849a605cc8214691c889ca0ae40c121259603592178e8 vergleichen. Das Beispiel erfordert Python 3.12 oder höher; seine Offline-Prüfungen liefen unter Windows x64 und Linux erfolgreich. macOS wurde noch nicht getestet, während die enthaltene Sandbox für die vollständige Studie und das native Ori-Setup ausschließlich Windows x64 unterstützen.

Das Beispiel mit drei Aufgaben prüft eine Rechnungssumme, die UTC-Umrechnung und eine Erstattungsentscheidung. Die standardmäßige Prüfung führt null Inferenzaufrufe durch. Live-Inferenz erfordert eine ausdrückliche Live-Option und ein Budget, damit die Validierung von den Ausgaben getrennt bleibt.

Im von OpenRouter zitierten Benchmark bestand GPT-6.1 Sol über drei Wiederholungen hinweg 180/180 Tests mit 60 synthetischen Aufgaben. DeepSeek hatte die niedrigsten Antwortkosten und bestand 157/180 Tests. Die Übereinstimmung mit der öffentlichen Rangliste war schwach; die Spearman-Korrelation lag bei 0.109. Für Nutzer lautet die Empfehlung, identische Aufgaben anhand der bewerteten Genauigkeit, der abgerechneten Kosten und der Anfragezeit zu vergleichen und vor dem Vertrauen in einen Wert die Anzahl der Durchläufe, fehlende Antworten und geprüfte Abrechnungen zu kontrollieren.

Quelle
OpenRouter: How to Benchmark LLMs

Ähnliche Meldungen

JetBrains bittet 12 KI-Modelle um 1.200 kontroverse Programmiermeinungen
Forschung15. November 2026, 18:02

JetBrains bittet 12 KI-Modelle um 1.200 kontroverse Programmiermeinungen

Zwölf KI-Modelle teilten in einem Experiment von JetBrains überwiegend gegen Python, Rust und TypeScript aus. Dabei sammelte das Unternehmen 1.200 Meinungen zu…

OpenRouter findet keine klare Qualitätslücke zwischen fp8, fp4 und fp16
Forschung11. November 2026

OpenRouter findet keine klare Qualitätslücke zwischen fp8, fp4 und fp16

OpenRouter fand in einem Test mit Qwen3.8 27B keinen erkannten Genauigkeitsunterschied zwischen fp8, fp4 und fp16. Das Unternehmen weist jedoch darauf hin, dass sich das…

Claude Opus 5.5 führt OpenRouters OCR-Test mit gescannten Dokumenten an
Forschung10. November 2026

Claude Opus 5.5 führt OpenRouters OCR-Test mit gescannten Dokumenten an

Claude Opus 5.5 war in OpenRouters OCR-Test für gescannte Dokumente das genaueste Modell und erkannte 262 von 264 wichtigen Werten korrekt. Mistral OCR bot das beste…