OpenRouter startet Benchmarks, die KI-Modell-Router nach Qualität, Tempo und Kosten vergleichen

Was die neue Benchmark-Seite leistet

Nach Angaben von OpenRouter soll die Seite Nutzern helfen, die Leistung der immer zahlreicheren Router-Optionen zu vergleichen. Jeder Router wurde mit einer Reihe von Benchmarks aus verschiedenen Bereichen getestet und nach Qualität, Geschwindigkeit und Kosten bewertet. Einzelne Modelle, die sowohl die beste Kosteneffizienz als auch die höchste Intelligenz ihrer Klasse repräsentieren, erscheinen zum Vergleich neben den Routern.

Das Unternehmen kündigt an, laufend neue Router hinzuzufügen und die Bewertungen zu aktualisieren, sobald sich die Router verbessern. OpenRouter hat zwei der ersten Modell-Router eingeführt, den Auto Router und den Free Models Router. Sie sollen Nutzern eine verlässliche Option bieten, die bei ihrem bevorzugten Kostenniveau stets auf dem Stand der neuesten Modelle bleibt.

Der Router Index fasst die drei Dimensionen für jeden Benchmark zu einem Wert auf einer Skala von 0 bis 10 zusammen. Standardmäßig gewichtet er die Qualität (das Benchmark-Ergebnis) mit 60 %, die Zeit pro Aufgabe mit 20 % und die Kosten mit 20 %. Über einen Schieberegler auf der Seite lassen sich diese Gewichtungen anpassen.

Warum es Router gibt und wo sie Probleme haben

OpenRouter nennt drei Gründe für Routing. Der erste sind die Kosten: Laut dem Unternehmen liegt der durchschnittlich gezahlte Preis pro Token bei GPT-6 Astra mehr als 48-mal höher als bei DeepSeek v4 Flash, und eine durchschnittliche Sitzung mit 10 bis 49 Durchgängen in Codex sei 21-mal teurer. Router können Teile einer Aufgabe an ein günstigeres Modell abgeben.

Der zweite Grund ist die Vielfalt der Aufgaben. Das Modell, das bei juristischer Recherche am besten abschneidet, ist nicht unbedingt das beste fürs Programmieren, ein Router kann daher zwischen ihnen wechseln. Der dritte Grund ist die Phase der Sitzung: Unterschiedliche Abschnitte einer agentischen Sitzung erfordern unterschiedlich viel Intelligenz, und Router können das Modell oder den Reasoning-Aufwand für komplexe Planung gegenüber banaler Ausführung wechseln.

Das Unternehmen nennt auch die Nachteile, die einen Router mitunter schlechter abschneiden lassen können als ein einzelnes Modell:

• Der Modellwechsel verteuert Anfragen, während der Eingabe-Cache neu aufgebaut wird.
• Routern fehlen oft ausreichende Informationen, um die Komplexität einer Aufgabe allein anhand des Prompts zu beurteilen.
• Heuristische Signale für die Sitzungsphase passen womöglich nicht zum nächsten Schritt des Modells.
• Zusätzlicher Rechenaufwand für Routing-Entscheidungen erhöht die Latenz.

Die Benchmarks sollen zeigen, welche Router diese Herausforderungen meistern.

Welche Router-Typen getestet wurden

OpenRouter weist darauf hin, dass der Begriff Router viele verschiedene Dinge umfasst. Provider-Routing, das das Unternehmen nach eigenen Angaben seit dem ersten Tag betreibt, wählt anhand von Preis, Geschwindigkeit, Verfügbarkeit und Datenrichtlinie unter Inferenzanbietern aus und weicht auf einen anderen aus, falls einer ausfällt. Beim Modell-Routing geht eine Anfrage an einen Router, der entscheidet, welches Modell antwortet.

Die getesteten Modell-Router lassen sich in drei Gruppen einteilen:

• Modellmischungen: Unbiaseds Pareto und Sakanas Fugu sind Inferenzanbieter, die eine Mischung aus Modellen einsetzen, teils mit Eskalation auf Frontier-Modelle. Sie legen weder offen, welche Modelle verwendet werden, noch wie oft gewechselt wird, und rechnen zu standardisierten Preisen pro Token ab.
• Auswahl pro Durchgang: Auto Router und Jev Router wählen für jeden Durchgang ein Modell. Die Auswahl ist transparent, abgerechnet wird nach dem Standardtarif des gewählten Modells.
• Vordefinierte Modellsets: NVIDIAs Switchyard kombiniert ein günstigeres mit einem stärkeren Modell und wechselt zwischen beiden, während ein Agent arbeitet. Mehrere Paare wurden getestet, es lässt sich aber jede beliebige Paarung nutzen.

Pareto Code, die -latest-Modell-Slugs und Fusion wurden nicht getestet. Laut OpenRouter dienen sie speziellen Zwecken, die andere Vergleichsmethoden erfordern. Fusion führt dieselbe Anfrage über ein Gremium aus mehreren Modellen aus und fasst die beste Antwort zusammen.

Was das für Nutzer bedeutet

OpenRouter warnt, dass die Ergebnisse wie bei jedem Benchmark allgemeine Aufgaben abbilden und nicht die eigene Arbeit der Nutzer. Alle aufgeführten Router sind über OpenRouter verfügbar, und Nutzer können sie in jeder App, jedem Harness oder über die API anstelle eines Modells einsetzen. Die Seite soll helfen, die Kombination aus Router und Modell zu finden, die zu den gewünschten Leistungsmerkmalen passt, und zu entscheiden, wann und ob sich ein Router lohnt.