Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Mastra ergänzt private Modell-Gateways für selbst gehostete KI-Agenten

12. November 2026Von der KI Nachrichten RedaktionQuelle: Mastra
Mastra ergänzt private Modell-Gateways für selbst gehostete KI-Agenten
Bild: Mastra

Mastra hat private Modell-Gateways eingeführt, über die Agenten Anfragen über ein eigenes Gateway an selbst gehostete Open-Weight-Modelle weiterleiten können. Die Funktion verbindet Mastra-Agenten mit lokalen Diensten wie Ollama und ermöglicht es Teams zugleich, in Studio festzulegen, welche Modelle angezeigt werden.

Das Wichtigste in Kürze
  • Mastra-Agenten können Anfragen über benutzerdefinierte Gateways an selbst gehostete Open-Weight-Modelle weiterleiten.
  • Das Beispiel verbindet Ollama und gpt-oss:20b über eine lokale OpenAI-kompatible API.
  • Modellverweise verwenden das Format aus Gateway, Anbieter und Modell.
  • AUTO_BLOCK_EXTERNAL_PROVIDERS=true blendet externe Anbieter in Studio aus.
  • Die Funktion setzt @mastra/[email protected] oder neuer voraus.

Agentenanfragen an private Modelle weiterleiten

Private Modell-Gateways fügen zwischen Mastra-Agenten und den von ihnen verwendeten Modellen eine konfigurierbare Ebene ein. Entwickler weisen einem Gateway eine ID zu und verweisen anschließend mit einem Pfad aus Gateway, Anbieter und Modell auf das Modell, etwa private/ollama/gpt-oss:20b.

Das Beispiel von Mastra verwendet Ollama und gpt-oss:20b. Mit ollama serve wird eine OpenAI-kompatible API unter http://localhost:11434/v1 gestartet. Ein Forschungsagent in Studio kann anschließend über das Gateway mit dem lokalen Modell ausgeführt werden. Die Ollama-Protokolle zeigen dabei, dass die Anfragen lokal eintreffen. Im von Mastra beschriebenen Beispiel antwortet der Agent mit einer Anleitung zur Bereitstellung des Modells auf AWS.

So konfigurieren Entwickler ein Gateway

Für die Nutzung der Funktion installieren Entwickler die aktuelle Version von @mastra/core sowie einen AI-SDK-Anbieter für die Gateway-API. Mastra gibt für das Beispiel @ai-sdk/[email protected] an und erklärt, dass die Funktion @mastra/[email protected] oder neuer voraussetzt. Die Fähigkeit wurde mit PR #18153 hinzugefügt.

Eine Gateway-Definition umfasst eine ID und einen Anzeigenamen sowie Funktionen, die verfügbare Anbieter und Modelle zurückgeben, die URL für den Modellaufruf erstellen, einen API-Schlüssel bereitstellen und für jede Anfrage das Sprachmodell auflösen. Im Beispiel wird ein Gateway namens private registriert, das Ollama und gpt-oss:20b bereitstellt und Anfragen an den lokalen Ollama-Endpunkt weiterleitet.

Nach der Registrierung in der Mastra-Instanz kann ein Agent das Modell über den Pfad private/ollama/gpt-oss:20b auswählen. Im Gateway-Beispiel bleibt der API-Schlüssel leer, weil das lokale Modell keinen benötigt.

Compliance, Kosten und Steuerung in Studio

Mastra zufolge können gehostete Anbieterdienste die Einhaltung von HIPAA oder DSGVO erschweren, sofern keine Vereinbarungen zur Datenaufbewahrung bestehen. Durch Self-Hosting entfällt der Drittanbieter aus dem Setup, sodass sensible Daten nicht an Modelle außerhalb des Netzwerks gelangen. Das Unternehmen erklärt außerdem, dass die Kosten sinken können, weil Nutzer für die Infrastruktur statt für Tokens bezahlen. Gleichzeitig behalten sie die Kontrolle über die für ihre Agenten verfügbaren Modelle.

Teams können verhindern, dass externe Anbieter in der Modellauswahl von Studio erscheinen, indem sie AUTO_BLOCK_EXTERNAL_PROVIDERS=true in ihrer .env-Datei setzen. Mastra nennt benutzerdefinierte Gateways als nützlich, um in Studio nur eigene Gateways anzuzeigen sowie die Authentifizierung und Modellpreise über das Gateway zu verwalten. Für Nutzer bietet die Funktion eine Möglichkeit, unterstützte Agenten mit lokal verwalteten Modellen auszuführen, statt sich auf externe Modellanbieter zu verlassen. Bereitstellung und Infrastruktur werden dabei vom eigenen Team kontrolliert.

Ähnliche Meldungen

Google Cloud führt einheitliche Beobachtbarkeit für BigQuery- und Looker-KI-Agenten ein
Produkte und Tools13. November 2026, 18:00

Google Cloud führt einheitliche Beobachtbarkeit für BigQuery- und Looker-KI-Agenten ein

Google Cloud erweitert die Beobachtung und Evaluierung von KI-Agenten in seiner Data Cloud. Teams erhalten damit eine gemeinsame Möglichkeit, eigene Agenten in BigQuery…

Block bringt Menschen und KI-Agenten mit Buzz und Unity Gateway zusammen
Produkte und Tools12. November 2026, 15:59

Block bringt Menschen und KI-Agenten mit Buzz und Unity Gateway zusammen

Block nutzt seinen Open-Source-Arbeitsbereich Buzz und Databricks Unity Gateway, damit Mitarbeitende in einer Umgebung mit KI-Agenten, Kollegen und mehreren KI-Modellen…

Vercel nimmt Kimi K3.1 Pro in Token Pass für Pro-Teams auf
Produkte und Tools12. November 2026

Vercel nimmt Kimi K3.1 Pro in Token Pass für Pro-Teams auf

Vercel hat Moonshot AIs Kimi K3.1 Pro in Token Pass aufgenommen, sein Early-Access-Abonnement für Pro-Teams, die über AI Gateway Coding-Agenten nutzen. Das Modell…