Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

OpenRouter bringt Inferenz mit mehreren Anbietern zu Hugging Face

16. November 2026Von der KI Nachrichten RedaktionQuelle: OpenRouter
OpenRouter bringt Inferenz mit mehreren Anbietern zu Hugging Face
Bild: OpenRouter

OpenRouter übernimmt ab sofort die Inferenz von Chat-Modellen bei Hugging Face Inference Providers. Damit stehen Entwicklern, die auf der Plattform arbeiten, Multi-Provider-Routing, automatisches Failover und die Kontrolle über Anbieter zur Verfügung. Zudem können OpenRouter-Nutzer Anfrage-Traces an eigene Hugging Face Storage Buckets senden.

Das Wichtigste in Kürze
  • Hugging Face Inference Providers nutzen für Chat-Modelle jetzt das Routing von OpenRouter.
  • Das Routing berücksichtigt aktuelle Daten zu Preis, Geschwindigkeit und Zuverlässigkeit und bietet automatisches Failover.
  • Nutzer können den schnellsten, günstigsten oder einen bestimmten Anbieter priorisieren.
  • Die Integration umfasst 160 Modelle aus 38 Laboren.
  • Anfrage-Traces können an einen Hugging Face Storage Bucket im Besitz des Nutzers gesendet werden.

OpenRouter-Routing kommt zu Hugging Face

Hugging Face Inference Providers führen Chat-Modelle jetzt über OpenRouter aus, wie OpenRouter mitteilte. Viele Modelle auf Hugging Face werden von mehr als einem Anbieter bereitgestellt. OpenRouter wählt für jede Anfrage anhand aktueller Daten zu Preis, Geschwindigkeit und Zuverlässigkeit einen Anbieter aus.

Für bestehende Hugging-Face-Nutzer ist keine zusätzliche Konfiguration erforderlich. Ihr bisheriger Hugging-Face-Token und ihr Code funktionieren weiterhin, während Anfragen von einem automatischen Failover profitieren. Wird ein Anbieter langsamer oder treten bei ihm Fehler auf, können Anfragen zu einem anderen Anbieter wechseln. Ein Fehler kann außerdem während desselben Aufrufs einen erneuten Versuch beim nächsten Anbieter auslösen.

OpenRouter zufolge ergab ein Live-Experiment, das beim Neuaufbau des Routings im Oktober durchgeführt wurde, 46 % weniger Anfragen mit einem Kapazitätsfehler, eine um 16,9 % schnellere Zeit bis zum ersten Token und einen um 16,3 % höheren Durchsatz. Die Kosten pro Anfrage stiegen dabei um 6,0 %. Diese Zahlen stammen aus dem Experiment von OpenRouter.

Nutzer können die Auswahl der Anbieter festlegen

Entwickler können den Zielkonflikt beim Routing steuern, indem sie eine Endung an eine Modell-ID anhängen, etwa :fastest oder :cheapest, oder einen Anbieternamen angeben. Anfragen funktionieren über die Chat-Completions- und Responses-APIs von OpenAI oder die Messages-API von Anthropic.

OpenRouter zufolge bleibt eine Unterhaltung bei dem Anbieter, der den Prompt-Cache vorhält. Die Modellseiten von Hugging Face enthalten jetzt einen Tab „Providers“, der den aktuellen Preis, die Geschwindigkeit und die Verfügbarkeit jedes Anbieters zeigt. Nutzer können außerdem ihre Ausgaben nach Anbieter aufschlüsseln und Anbieter deaktivieren, die sie nicht verwenden möchten.

Die Integration bietet 160 Modelle aus 38 Laboren. Zu den aufgeführten Modellen gehören DeepSeek V4.1 Flash, MoonshotAI Kimi K3.1 Pro und Kimi K3, Z.ai GLM 5.3 und GLM 5.3 Flash, Qwen3.8 27B, MiniMax M3.1 Flash, Xiaomi MiMo-V2.6-Flash, NVIDIA Nemotron 3 Ultra und OpenAI gpt-oss-120b. OpenRouter zufolge entfallen etwa 70 % seiner kostenpflichtig verarbeiteten Tokens auf Modelle mit offenen Gewichten.

Tracing verbindet Produktionsdaten mit Hub-Ressourcen

OpenRouter kann außerdem einen Trace jeder Anfrage an einen Hugging Face Storage Bucket senden, der dem Nutzer gehört. Die Funktion befindet sich in der Betaphase und wird eingerichtet, indem Storage Buckets in den Observability-Einstellungen von OpenRouter als Broadcast-Ziel hinzugefügt werden.

Jede JSON-Datei enthält die Eingabenachrichten, die Ausgabe des Modells, Token-Anzahlen und Kosten. Bilder und andere Medien werden ausgeschlossen. Nutzer können Dateien nach Datum oder API-Schlüssel organisieren und so Ausgangsmaterial für einen Evaluationsdatensatz oder einen Fine-Tuning-Lauf mit einem Modell mit offenen Gewichten erstellen.

Für den Einstieg benötigen Nutzer einen Hugging-Face-Token mit der Berechtigung „Make calls to Inference Providers“. Anschließend können sie auf der Hub-Seite eines unterstützten Modells chatten oder den Code anzeigen. Für das Storage-Tracing sind ein Hugging Face Storage Bucket, ein Token mit Schreibberechtigung, S3-Zugangsdaten sowie die entsprechenden Namespace- und Bucket-Details in OpenRouter erforderlich.

Für Nutzer verbindet die Ankündigung einen breiteren Modellzugang mit Kontrolle über die Anbieterwahl und die Ausgaben. Zudem liegen die Anfragedaten neben den Modellen und Datensätzen, die Entwickler laut OpenRouter für Evaluationen oder Fine-Tuning verwenden können.

Ähnliche Meldungen

Baseten bringt offene Frontier-Modelle in Microsoft Foundry
Wirtschaft17. November 2026, 22:22

Baseten bringt offene Frontier-Modelle in Microsoft Foundry

Basetens offene Frontier-Modelle sind jetzt als Public Preview über Microsoft Foundry verfügbar. Azure-Kunden erhalten damit einen Microsoft-eigenen Dienst, um die…

Hugging Face stellt Modell-Routing auf OpenRouter um
Wirtschaft16. November 2026

Hugging Face stellt Modell-Routing auf OpenRouter um

Hugging Face stellt seine Inference Providers für Sprachmodelle auf OpenRouter um. Nutzer können berechtigte Open-Weight-Modelle über dieselbe API aufrufen, während…

OpenRouter berechnet, wann sich das Selbst-Hosting eines LLM lohnt
Für Entwickler12. November 2026

OpenRouter berechnet, wann sich das Selbst-Hosting eines LLM lohnt

Das Selbst-Hosting eines Open-Weight-LLM ist laut einer Analyse von OpenRouter nur dann günstiger als die Nutzung einer API, wenn der Datenverkehr die GPU ausreichend…