Langfuse startet Open-Source-AI-Gateway in der öffentlichen Beta

Eine zentrale Ebene für den unternehmensweiten KI-Einsatz

Langfuse zufolge beschränkt sich der Einsatz von KI in Unternehmen längst nicht mehr auf einen einzelnen Chatbot, der von einem Team verwaltet wird. Coding-Agenten, interne Assistenten, Workflow-Tools und maßgeschneiderte KI-Anwendungen können Modellaufrufe über Entwicklungs- und Geschäftsteams hinweg erzeugen. Dadurch wird es schwieriger zu erkennen, wer welche Modelle nutzt, welche Kosten dabei entstehen und ob die Nutzung die Sicherheitsanforderungen erfüllt.

Das AI Gateway soll dieses Problem lösen, indem es eine zentrale Ebene vor die Modellaufrufe setzt. Jeder Schlüssel kann einer Person oder einem Dienst zugeordnet und um ein Team oder eine Kostenstelle ergänzt werden. So lässt sich die Ausgabenstruktur an der Organisation eines Unternehmens ausrichten. Administratoren können Modelle außerdem zentral freigeben, Ausgabenlimits pro Schlüssel festlegen und sich vor dem Auftreten unerwartet hoher Rechnungen warnen lassen.

Das Gateway ist über Langfuse Cloud verfügbar oder kann auf der eigenen Infrastruktur eines Unternehmens betrieben werden. Langfuse zufolge steht das zentrale Gateway unter der MIT-Lizenz und lässt sich als einzelnes 22MB großes Docker-Image neben einer bestehenden Langfuse-Instanz bereitstellen, ohne zusätzliche Abhängigkeiten.

Tracing, Protokollierung und unterstützte Anbieter

Im Gegensatz zu einem Gateway, das sich nur auf die Erfassung von Tokens und Kosten konzentriert, wandelt Langfuse Aufrufe bei aktiviertem Tracing in vollständige Traces um. Teams können diese Traces durchsuchen, auswerten und annotieren sowie über MCP und CLI auf Langfuse-Daten zugreifen. Verteiltes OpenTelemetry-Tracing kann zusätzliche Traces in Langfuse zusammenführen, darunter Details wie die Ausführung von Tool-Aufrufen durch komplexe Agenten.

Die Protokollierung lässt sich konfigurieren. Standardmäßig erfasst das Gateway Metadaten, Nutzung und Kosten, jedoch keine Inhalte von Prompts oder Antworten. Nutzer können festlegen, dass nur Nutzung und Kosten, vollständige Prompts und Antworten oder gar nichts aufgezeichnet wird. Im Pass-through-Modus werden keine Daten erfasst. Beim Self-Hosting bleiben die Daten auf der Infrastruktur der Organisation.

Die öffentliche Beta unterstützt OpenAI und Anthropic. Langfuse zufolge sollen OpenRouter, AWS, GCP, Azure und benutzerdefinierte Inferenz-APIs bald folgen. Anfragen und Antworten bleiben im nativen Format des jeweiligen Anbieters. Laut dem Unternehmen müssen Nutzer lediglich die Basis-URL ändern und einen Gateway-Schlüssel verwenden.

Leistung, Preise und die weitere Entwicklung

Langfuse zufolge ist das Gateway in Rust entwickelt und erreicht bei aktiviertem Tracing eine mediane Latenz von weniger als 3ms. Das Unternehmen berichtet außerdem von Unterstützung für mehr als 1.000 gleichzeitige Streams auf einem einzelnen Knoten mit 2 vCPU. Der Speicherverbrauch steigt dabei proportional zur Auslastung.

Self-Hosting ist laut Langfuse kostenlos. In Langfuse Cloud berechnet das Unternehmen derzeit nur Gebühren, wenn Kunden Anfragen protokollieren möchten. Nicht protokollierte Anfragen sind kostenlos. Kunden behalten ihre Verträge, Preise und Compliance-Vereinbarungen mit den jeweiligen Anbietern. Langfuse zufolge verkauft das Unternehmen keine Tokens weiter.

Die angekündigte Roadmap umfasst Ausgabenlimits nach Team, Nutzer oder API-Schlüssel, Ausweichanbieter, Schutzmechanismen und die Schwärzung personenbezogener Daten, die SCIM-Bereitstellung von Nutzern, zusätzliche Anbieter sowie automatisches Modell-Routing. Langfuse zufolge kann das Gateway ab heute in der öffentlichen Beta getestet werden. Administratoren können es für eine Organisation einrichten, in den Organisationseinstellungen einen Gateway-Schlüssel erstellen und eine Anwendung oder einen Coding-Agenten an einen regionalen Gateway-Host weiterleiten.