deepset erweitert Haystack Enterprise Platform um Services für stabile Agenten-Endpunkte

Das Problem: Agenten ändern sich, Nutzer brauchen Stabilität

In einem Blogbeitrag vom 1. Oktober 2026 beschreibt deepset die Entwicklung von Agenten als einen ständig im Wandel befindlichen, iterativen Prozess. Teams aktualisieren Prompts, wechseln Modelle oder Datenquellen, verfeinern Retrieval-Strategien und passen die Geschäftslogik an, während sie aus Tests und dem Praxiseinsatz lernen.

Die Anwendungen und Workflows, die von diesen Agenten abhängen, brauchen jedoch Stabilität. deepset formuliert die Frage so: Wie können KI-Engineering-Teams schnell arbeiten und flexibel testen, ohne Angst haben zu müssen, etwas kaputt zu machen? Services sind die Antwort des Unternehmens darauf.

So funktionieren Services

In der Haystack Enterprise Platform ist ein Service ein stabiler, verwalteter Endpunkt, der mit einer ausgewählten Pipeline-Version verbunden ist. Anwendungen und andere Agenten verbinden sich mit dem Service statt direkt mit der zugrunde liegenden Pipeline. Ist eine neue Pipeline-Version bereit, können Teams sie veröffentlichen, ohne den Endpunkt zu verändern, den ihre Nutzer verwenden.

Laut deepset können Teams mit Services Folgendes tun:

• Versionen sicher veröffentlichen: genau festlegen, welche Pipeline-Version live ist, Änderungen dokumentieren und bei einem fehlgeschlagenen neuen Deployment die zuletzt erfolgreiche Version weiter ausliefern.
• Umgebungen und Nutzer trennen: unabhängige Services für Test, Staging, Produktion oder einzelne Anwendungen und Integrationen anlegen.
• Jede Laufzeit konfigurieren: Replikate und Leerlauf-Timeouts für jeden Service festlegen oder die empfohlenen Systemstandards nutzen.
• Transparent betreiben: Traces, Performance, Verbindungsdetails und Veröffentlichungsverlauf auf Service-Ebene einsehen.

Nach Angaben des Unternehmens schaffen Services eine verlässliche Schnittstelle zwischen den KI-Fähigkeiten einer Organisation und allem, was diese nutzt.

Grundlage für ein umfassenderes AI Gateway

deepset sieht Services zudem als ersten Schritt hin zu einem AI Gateway. Das Unternehmen weist darauf hin, dass AI Gateways häufig mit einem einzigen Endpunkt für den Zugriff auf mehrere Modelle verbunden werden, ergänzt um Routing, Fallbacks und Kostenverfolgung. Das bleibe ein wichtiger Teil der Kategorie, doch die Anforderungen in Unternehmen wüchsen.

KI-Anwendungen hängen zunehmend von mehr als nur Modellen ab. Sie nutzen Tools, Pipelines, Daten, MCP-Server und andere Agenten. Aus Sicht von deepset braucht eine Organisation, bevor sie Zugriff, Kosten, Sicherheit oder Routing steuern kann, ein stabiles Objekt, auf das sich diese Kontrollen anwenden lassen. Genau das liefern Services.

In der Haystack Enterprise Platform ist Gateway der Produktbereich, in dem Teams die von ihnen entwickelten KI-Fähigkeiten bereitstellen und betreiben. Laut deepset sind Services die erste grundlegende Funktion darin.

Was das für Teams mit Pipelines im Betrieb bedeutet

deepset empfiehlt Services als Weg, Pipelines für Teams zu veröffentlichen, die diese bereits in der Produktion betreiben. Services werden in Gateway erstellt und verwaltet, bestehende bereitgestellte Pipelines lassen sich übertragen, sobald ein Team dazu bereit ist. Für die ersten Schritte verweist das Unternehmen auf seine Dokumentationsseiten zu Gateway und zum Erstellen eines Services.

Die Veröffentlichung folgt auf weitere jüngste Ergänzungen der Plattform, die deepset angekündigt hat, darunter Traces für die Agenten-Observability im Juli 2026 und verwaltete MCP-Tools für Haystack-Pipelines im Juni 2026. Zu Preisen oder zur Verfügbarkeit über die Haystack Enterprise Platform hinaus macht die Quelle keine Angaben.