Red Hat erläutert EnMaaS-Pilotprojekt für Open-Source-KI-Inferenz

Ein Gateway für den Zugriff auf Unternehmensmodelle

EnMaaS wurde entwickelt, um Red-Hat-Entwicklern einen verwalteten Zugriff auf eine große Auswahl an Modellen zu ermöglichen, ohne separate Anbieter-Konten und Onboarding-Prozesse zu benötigen. Über ein schlankes, per SSO authentifiziertes Portal können sich Entwickler selbst registrieren und einen einheitlichen API-Schlüssel für kommerzielle Frontier-APIs und intern gehostete Modelle mit offenen Gewichten generieren.

Red Hat zufolge leiten Tausende Entwickler ihre täglichen Coding-Harnesses über die Plattform. Administratoren können die Verfügbarkeit von Modellen für bestimmte Teams konfigurieren, darunter Frontier-Modelle von Anthropic und OpenAI sowie Modelle mit offenen Gewichten wie GLM, die in Zusammenarbeit mit IBM Research über llm-d bereitgestellt werden.

Das Gateway soll kommerzielle Tools, Open-Source-Harnesses und neue Agenten-Frameworks unterstützen. Außerdem erfasst es Tokens, Kontingente und Ratenlimits für Nutzer, Teams und Modelle. Damit erhalten Administratoren eine Möglichkeit, den Verbrauch und die zugewiesenen Budgets zu verwalten.

Praxis und llm-d bilden die Open-Source-Architektur

Praxis ist ein Framework für die Entwicklung von Proxy-Servern und stellt zugleich ein KI-Gateway bereit. Red Hat hat es in Rust entwickelt und erklärt, dass es als einzelner Prozess auf der Datenebene läuft. Anstatt mehrere Proxys oder externe Sidecar-Container zu verketten, bündelt Praxis die Anfrageverarbeitung, darunter die Prompt-Prüfung, das Routing auf Basis des Anfrageinhalts, die API-Übersetzung und Inhaltsleitplanken.

Eine von IBM-Forschern beigesteuerte Policy-Engine setzt organisatorische Sicherheits- und Schutzrichtlinien durch. Praxis wurde im September 2026 zur Cloud Native Computing Foundation beigesteuert.

Hinter dem Gateway stellt llm-d die verteilte Inferenz für Modelle mit offenen Gewichten bereit. Das Kubernetes-native Framework, das von Red Hat mitbegründet und im März 2026 zur CNCF beigesteuert wurde, arbeitet mit vLLM zusammen, um Modellserver zu koordinieren. Zu den Funktionen gehören die Laufzeitplanung auf Basis der aktuellen Auslastung, der prognostizierten Latenz und der Präfixaffinität sowie das Tiering des KV-Caches über GPU-, CPU- und NVMe-Speicher hinweg.

Nach Angaben von Red Hat stellte die Infrastruktur ein Dutzend Modelle mit offenen Gewichten über Hunderte GPUs bereit. Sie unterstützt außerdem die Entkopplung von Prefill und Decoding sowie parallele Expertenverarbeitung über mehrere Knoten für Mixture-of-Experts-Modelle.

Interne Nutzung verlagerte sich zu Modellen mit offenen Gewichten

Red Hat bezeichnet sich selbst als seinen eigenen „Kunden null“ und nutzt EnMaaS intern, um die Architektur zu testen und zu verbessern, bevor Komponenten in die Open-Source-Community eingebracht werden. Die kombinierte Umgebung verarbeitete nach Angaben des Unternehmens in einem einzigen Zeitraum von 30 Tagen mehr als 1 Billion Tokens.

Red Hat zufolge entfielen anfangs 70/30 Prozent der Nutzung auf kommerzielle Frontier-APIs, später verschob sich das Verhältnis zugunsten intern gehosteter Modelle mit offenen Gewichten auf 30/70. Das Unternehmen führt diese Veränderung auf intelligentes Routing und den reibungslosen Zugriff auf gehostete Modelle zurück.

Nach Angaben von Red Hat senkte die Verlagerung von Workloads von Frontier-Modellen auf selbst gehostete Modelle unter llm-d die effektiven Token-Kosten um 40% bis 70%, abhängig von der Effizienz des Prompt-Cachings und dem Modell-Routing. Praxis kann außerdem automatisch auf gehostete Modelle mit offenen Gewichten ausweichen, wenn ein Team oder Entwickler ein kommerzielles monatliches Token-Budget erreicht.

Sicherheitskontrollen erstrecken sich auf Agenten-Workflows

Red Hat zufolge konfigurierten die Entwicklungsteams ihre Agenten so, dass sie über Praxis auf Modelle zugreifen, und sicherten sie anschließend mit OpenShell, einer Open-Source-Laufzeit für Agenten. OpenShell stellt eine isolierte Laufzeitgrenze für Proxy-Operationen sowie zusätzliche Kontrollen für den Zugriff der Agenten auf lokale Dateien, Zugangsdaten und externe Netzwerke bereit.

Das EnMaaS-Pilotprojekt zeigt, wie Red Hat ein zentralisiertes Gateway, die verteilte Bereitstellung von Modellen mit offenen Gewichten und Richtlinienkontrollen für die interne Softwareentwicklung kombiniert. Für Nutzer verspricht dieser Ansatz einen einzigen Zugangsweg und unterbrechungsfreie Workflows, wenn kommerzielle Limits erreicht sind. Für Unternehmen präsentiert Red Hat ihn als Möglichkeit, die Nutzung von Modellen mit offenen Gewichten zu steigern und gleichzeitig Transparenz und Kontrolle über die Inferenzkosten zu verbessern.