deepset erweitert die Haystack Enterprise Platform, um Kosten von KI-Agenten zu erfassen und zu senken

Eine Plattform zum Bauen, Betreiben, Verbessern und Steuern von Agenten

deepset kündigte die Erweiterung auf der NVIDIA GTC Berlin 2026 an. Die Plattform vereint demnach nun vier miteinander verbundene Bereiche: Entwicklung und Laufzeitumgebung als Fundament, Produktions-Traces und Kostendaten, die Verbesserungen in das Agent-Harness zurückspeisen, sowie Governance-Kontrollen über den gesamten Lebenszyklus.

Der erste Bereich umfasst das Agent-Harness und den Kontext. deepset argumentiert, dass das Verhalten eines Agenten von mehr abhängt als vom zugrunde liegenden Modell. Auch der Kontext, den er erhält, die Tools, auf die er zugreifen kann, sein Gedächtnis sowie Anweisungen und Guardrails prägen das Ergebnis. Die auf dem Open-Source-Framework Haystack aufbauende Plattform erlaubt es Teams, Workflows zu entwerfen und zu testen, Modelle mit Unternehmensdaten und Tools zu verbinden und die Komponenten hinter dem Agentenverhalten zu untersuchen. Die modulare Architektur soll es ermöglichen, Modelle, Retrieval-Strategien und andere Komponenten auszutauschen, ohne eine Anwendung neu aufbauen zu müssen.

Der zweite Bereich sind Laufzeit und Services. Teams können versionskontrollierte Agenten über stabile Service-Endpunkte veröffentlichen, sodass Anwendungen weiterhin denselben Endpunkt aufrufen, während der darunterliegende Agent aktualisiert wird. Die Serverless-Ausführung soll den Aufwand verringern, für jede Workload eigene Infrastruktur bereitzustellen, und Ressourcen bedarfsgerecht skalieren lassen.

Tracing und Kostenberichte, um teure Schritte zu finden

Im Mittelpunkt der Ankündigung steht der Optimierungskreislauf. Die Wahl des Modells sei nur ein Teil der Kostenkontrolle bei KI, so deepset, denn auch Design und Orchestrierung eines Agenten bestimmten, wie viel Inferenz er benötigt und ob er die gewünschten Ergebnisse liefert.

Produktions-Traces und Kostenberichte sollen Teams helfen, teure oder unzuverlässige Schritte in einem Workflow zu identifizieren. Teams können einzelne Durchläufe sowie die Ausgaben über Modelle, Agenten, Services und Workspaces hinweg prüfen. Das Unternehmen nennt Fragen, die die Werkzeuge beantworten sollen:

• Welche Agenten oder Modelle verursachen die höchsten KI-Ausgaben?
• Wo treten Fehler, unerwartetes Verhalten oder unnötige Ausführungsschritte auf?
• Könnten Änderungen bei Kontext, Retrieval, Modellauswahl oder Tool-Nutzung die Effizienz verbessern?
• Wie können Teams beurteilen, ob eine Optimierung die erforderliche Qualität hält?

Die letzte Frage deutet auf das hin, was noch aussteht. Geplant sind Evaluierungen und stärker automatisierte Optimierungsempfehlungen, die auf der bereits verfügbaren Transparenz im Produktivbetrieb aufbauen. Die geplanten Funktionen sollen Teams dabei unterstützen, Änderungen an Modellen und am Harness anhand von Kosten- und Qualitätszielen zu testen. Mit der Zeit werde die Plattform auf Grundlage von Produktionsdaten Verbesserungen empfehlen, vor dem Deployment jedoch mit menschlicher Freigabe, so deepset.

Governance, Deployment-Optionen und Modell-Services

Für Organisationen, die mehrere Agenten betreiben, bietet die Plattform gemeinsame Governance-Funktionen, darunter rollenbasierte Zugriffskontrollen, Workspace-Verwaltung und operative Transparenz. Eine Architektur aus Control Plane und Gateway soll Agenten, Tools und Skills über Standardschnittstellen zugänglich machen, mit gemeinsamen Kontrollen für Berechtigungen, Richtlinien und Nutzung.

Zu den Produktionsfunktionen der Erweiterung zählen Production Tracing, Kostenberichte nach Modell, Agent, Service und Workspace (auch neben einzelnen Traces), Production Services, Serverless-Deployments und flexibles Deployment. Beim Deployment unterstützt die Plattform die Public Cloud, europäische Sovereign-Cloud-Umgebungen wie STACKIT sowie selbst gehostete Infrastruktur. Zusammen mit der quelloffenen, modellunabhängigen Architektur von Haystack bewahre das die Flexibilität bei Modellen und Infrastruktur, die deepset für Organisationen mit strengen Daten-, Sicherheits- oder regulatorischen Anforderungen als unverzichtbar beschreibt.

Parallel zur Plattform stellte deepset maßgeschneiderte KI-Modell-Services für Behörden, Verteidigung und regulierte Branchen vor. Die Forward Deployed Engineers des Unternehmens helfen Organisationen dabei, Entscheidungsmodelle und Small Language Models für bestimmte Aufgaben auszuwählen, anzupassen und nachzutrainieren. Diese können in der Haystack Enterprise Platform neben LLMs arbeiten, und die für sie entwickelten Modelle gehören den Kunden.

Was das für Teams mit Agenten im Einsatz bedeutet

Für Organisationen, die bereits Agenten produktiv betreiben, bringt das Update Kosten- und Verhaltensdaten an den Ort, an dem die Agenten gebaut und bereitgestellt werden. Teams sehen laut deepset, welche Modelle, Agenten oder Workspaces die Ausgaben treiben, und können einzelne Durchläufe prüfen, ohne die Plattform zu verlassen.

Die stärker automatisierten Teile, nämlich Evaluierungen und empfohlene Verbesserungen, sind noch nicht verfügbar. deepset beschreibt sein Ziel als Betriebssystem für souveräne KI-Agenten, eine gemeinsame Grundlage, um Agenten zu bauen, zu betreiben, zu verbessern und zu steuern, mit systematischerer Evaluierung und Optimierung in der Zukunft.