OpenRouter bringt Inferenz mit mehreren Anbietern zu Hugging Face

OpenRouter übernimmt ab sofort die Inferenz von Chat-Modellen bei Hugging Face Inference Providers. Damit stehen Entwicklern, die auf der Plattform arbeiten, Multi-Provider-Routing, automatisches Failover und die Kontrolle über Anbieter zur Verfügung. Zudem können OpenRouter-Nutzer Anfrage-Traces an eigene Hugging Face Storage Buckets senden.
- Hugging Face Inference Providers nutzen für Chat-Modelle jetzt das Routing von OpenRouter.
- Das Routing berücksichtigt aktuelle Daten zu Preis, Geschwindigkeit und Zuverlässigkeit und bietet automatisches Failover.
- Nutzer können den schnellsten, günstigsten oder einen bestimmten Anbieter priorisieren.
- Die Integration umfasst 160 Modelle aus 38 Laboren.
- Anfrage-Traces können an einen Hugging Face Storage Bucket im Besitz des Nutzers gesendet werden.
OpenRouter-Routing kommt zu Hugging Face
Hugging Face Inference Providers führen Chat-Modelle jetzt über OpenRouter aus, wie OpenRouter mitteilte. Viele Modelle auf Hugging Face werden von mehr als einem Anbieter bereitgestellt. OpenRouter wählt für jede Anfrage anhand aktueller Daten zu Preis, Geschwindigkeit und Zuverlässigkeit einen Anbieter aus.
Für bestehende Hugging-Face-Nutzer ist keine zusätzliche Konfiguration erforderlich. Ihr bisheriger Hugging-Face-Token und ihr Code funktionieren weiterhin, während Anfragen von einem automatischen Failover profitieren. Wird ein Anbieter langsamer oder treten bei ihm Fehler auf, können Anfragen zu einem anderen Anbieter wechseln. Ein Fehler kann außerdem während desselben Aufrufs einen erneuten Versuch beim nächsten Anbieter auslösen.
OpenRouter zufolge ergab ein Live-Experiment, das beim Neuaufbau des Routings im Oktober durchgeführt wurde, 46 % weniger Anfragen mit einem Kapazitätsfehler, eine um 16,9 % schnellere Zeit bis zum ersten Token und einen um 16,3 % höheren Durchsatz. Die Kosten pro Anfrage stiegen dabei um 6,0 %. Diese Zahlen stammen aus dem Experiment von OpenRouter.
Nutzer können die Auswahl der Anbieter festlegen
Entwickler können den Zielkonflikt beim Routing steuern, indem sie eine Endung an eine Modell-ID anhängen, etwa :fastest oder :cheapest, oder einen Anbieternamen angeben. Anfragen funktionieren über die Chat-Completions- und Responses-APIs von OpenAI oder die Messages-API von Anthropic.
OpenRouter zufolge bleibt eine Unterhaltung bei dem Anbieter, der den Prompt-Cache vorhält. Die Modellseiten von Hugging Face enthalten jetzt einen Tab „Providers“, der den aktuellen Preis, die Geschwindigkeit und die Verfügbarkeit jedes Anbieters zeigt. Nutzer können außerdem ihre Ausgaben nach Anbieter aufschlüsseln und Anbieter deaktivieren, die sie nicht verwenden möchten.
Die Integration bietet 160 Modelle aus 38 Laboren. Zu den aufgeführten Modellen gehören DeepSeek V4.1 Flash, MoonshotAI Kimi K3.1 Pro und Kimi K3, Z.ai GLM 5.3 und GLM 5.3 Flash, Qwen3.8 27B, MiniMax M3.1 Flash, Xiaomi MiMo-V2.6-Flash, NVIDIA Nemotron 3 Ultra und OpenAI gpt-oss-120b. OpenRouter zufolge entfallen etwa 70 % seiner kostenpflichtig verarbeiteten Tokens auf Modelle mit offenen Gewichten.
Tracing verbindet Produktionsdaten mit Hub-Ressourcen
OpenRouter kann außerdem einen Trace jeder Anfrage an einen Hugging Face Storage Bucket senden, der dem Nutzer gehört. Die Funktion befindet sich in der Betaphase und wird eingerichtet, indem Storage Buckets in den Observability-Einstellungen von OpenRouter als Broadcast-Ziel hinzugefügt werden.
Jede JSON-Datei enthält die Eingabenachrichten, die Ausgabe des Modells, Token-Anzahlen und Kosten. Bilder und andere Medien werden ausgeschlossen. Nutzer können Dateien nach Datum oder API-Schlüssel organisieren und so Ausgangsmaterial für einen Evaluationsdatensatz oder einen Fine-Tuning-Lauf mit einem Modell mit offenen Gewichten erstellen.
Für den Einstieg benötigen Nutzer einen Hugging-Face-Token mit der Berechtigung „Make calls to Inference Providers“. Anschließend können sie auf der Hub-Seite eines unterstützten Modells chatten oder den Code anzeigen. Für das Storage-Tracing sind ein Hugging Face Storage Bucket, ein Token mit Schreibberechtigung, S3-Zugangsdaten sowie die entsprechenden Namespace- und Bucket-Details in OpenRouter erforderlich.
Für Nutzer verbindet die Ankündigung einen breiteren Modellzugang mit Kontrolle über die Anbieterwahl und die Ausgaben. Zudem liegen die Anfragedaten neben den Modellen und Datensätzen, die Entwickler laut OpenRouter für Evaluationen oder Fine-Tuning verwenden können.
OpenRouter: OpenRouter Now Powers Inference on Hugging Face


