Mozilla AI startet Otari für KI-Governance und freie Modellwahl

Eine Richtlinienschicht zwischen Anwendungen und Anbietern

Otari sitzt zwischen Anwendungen oder Agenten und den von ihnen verwendeten Modellen und Tools. Mozilla AI zufolge läuft jede Anfrage über das Gateway. Dadurch können Organisationen Regeln an einer zentralen Stelle festlegen und Anbieter wechseln, ohne die Anwendungen selbst zu ändern.

In den Workspace-Einstellungen lässt sich festlegen, welche Modelle zulässig sind, ob Websuche und Codeausführung verfügbar sind und ob Prüfungen durch Schutzvorkehrungen erforderlich sind. Markierte Anfragen werden blockiert, bevor sie den Anbieter erreichen. Budgets können Nutzern und Anwendungsschlüsseln zugewiesen werden. Otari prüft sie vor jeder Anfrage.

Für Coding-Agenten können Otaris Schutzvorkehrungen für Agenten bestimmte Tool-Aufrufe ablehnen und Änderungen an Repositories prüfen, bevor ein Agent seine Arbeit zurückgibt. Mozilla AI stellt diese Kontrollen als Möglichkeit dar, Limits auch dann durchzusetzen, wenn das eigene Urteilsvermögen eines Agenten versagt.

Nutzungen protokollieren, ohne Prompts oder Antworten zu speichern

Mozilla AI zufolge kann eine einzelne abgeschlossene Antwort mehrere Modellaufrufe, einen Ausweichmechanismus und einen fehlgeschlagenen Tool-Aufruf umfassen. Otaris Nutzungsansichten zeigen, welche Dienste aufgerufen wurden, was fehlgeschlagen ist und welche Kosten bei jedem Schritt entstanden sind.

Die Sitzungsprotokollierung verknüpft Aktivitäten zu einer Zeitleiste. Zugleich erklärt das Unternehmen, dass Otari keine Prompts, Antworten oder Tool-Ergebnisse speichert. Die Aufzeichnungen sollen Teams dabei helfen, zu erkennen, warum eine Aufgabe teuer wurde, welcher Schritt wiederholt fehlschlägt und ob eine Schutzvorkehrung ausgeführt wurde.

Das Gateway stellt außerdem Tools wie Websuche und Codeausführung über eine gemeinsame Schnittstelle bereit. Mozilla AI zufolge kann ein Open-Weight-Modell dadurch dieselben Tools nutzen wie ein proprietäres Modell, das es möglicherweise ersetzt.

Open-Source-Gateway mit Anbieterwechsel

Anwendungen erreichen Modelle über eine einzige API. Mozilla AI beschreibt den Wechsel von Modellen als Änderung der Konfiguration. Fallback-Regeln können Anfragen umleiten, wenn ein Anbieter ausfällt. Nach Angaben des Unternehmens können Teams Modelle über einen gesamten Workflow hinweg vergleichen, einschließlich Genauigkeit, Wiederholungen und des erforderlichen Umfangs menschlicher Prüfung.

Otaris Gateway wird unter der Apache-2.0-Lizenz veröffentlicht. Organisationen können den Code einsehen, ihn selbst hosten oder Änderungen zurückbeisteuern. Mozilla AI bietet unter otari.ai außerdem eine gehostete Version an.

Nach Angaben des Unternehmens ist Mistral Large 4 vom ersten Tag an in Otari verfügbar. Die Weiterleitung an Mistrals MoE-Modell mit 1T Parametern erfordert nur eine Änderung einer Zeichenfolge, während bestehende Richtlinien, Protokolle und die Kostenverfolgung in Otari erhalten bleiben.

Was Otari für KI-Teams bedeutet

Mozilla AI positioniert Otari für Organisationen, die die Fähigkeiten von Agenten erweitern möchten, ohne die Kontrolle den Standardeinstellungen der Anbieter oder den Anweisungen einzelner Modelle zu überlassen. Als Ausgangspunkt empfiehlt das Unternehmen einen vertrauten Workflow, in dem Modelle, Tools, Budgets und menschliche Prüfung festgelegt werden, bevor der Workflow einige Wochen lang überwacht wird.

Der Ansatz begegnet auch der Abhängigkeit von Anbietern. Teams können ihr Modell beibehalten und ein Backend für die Suche auswählen, darunter die Option von Mozilla AI, ihren eigenen Schlüssel oder ein selbst gehostetes Backend, so das Unternehmen. Damit erhalten Organisationen eine Möglichkeit, Anbieter, Zugangsdaten und Sandboxes zu verwalten und Anwendungen zugleich dieselbe Tool-Schnittstelle bereitzustellen.