deepset erweitert Haystack um Kostenoptimierung für KI-Agenten und maßgeschneiderte Modelle
deepset, das deutsche Unternehmen hinter dem Open-Source-Framework Haystack, hat seine Haystack Enterprise Platform um Funktionen zur Agentenoptimierung erweitert und Services für maßgeschneiderte KI-Modelle für Behörden, Verteidigung und Industrie gestartet. Nach Angaben des Unternehmens sollen damit die Betriebskosten hochwertiger, souveräner KI-Agenten sinken.
- deepset hat auf der NVIDIA GTC Berlin die Agentenoptimierung in der Haystack Enterprise Platform und Services für maßgeschneiderte KI-Modelle vorgestellt.
- Die Plattform zeigt KI-Ausgaben nach Modell, Agent, Service und Team, neben den Traces aus dem Produktivbetrieb.
- Forward Deployed Engineers wählen Modelle aus, passen sie an oder trainieren sie nach, und die entstandenen Modelle gehören den Kunden.
- Der Betrieb ist in der Public Cloud, in einer souveränen Cloud wie STACKIT oder auf selbst betriebener Infrastruktur möglich.
- Haystack nutzt NVIDIA Triton Inference Server, und deepset kann NVIDIA-Nemotron-Modelle anpassen.
Kostentransparenz und Tests direkt in der Plattform
deepset stellte das Angebot auf der NVIDIA GTC Berlin vor. Das Unternehmen argumentiert, wer KI-Ausgaben in den Griff bekommen wolle, müsse über einzelne Modelle hinausblicken und betrachten, wie sie in Agentensystemen eingesetzt werden. Man helfe Organisationen dabei, Modellauswahl und Harness gemeinsam zu optimieren und Änderungen anhand von Kosten- und Qualitätsanforderungen zu testen, während sie die Kontrolle über Modelle, Daten und Infrastruktur behalten.
Die Haystack Enterprise Platform zeigt KI-Ausgaben nun nach Modell, Agent, Service und Team an. Die Daten erscheinen sowohl in einem zentralen Reporting als auch neben den Traces aus dem Produktivbetrieb. Laut deepset können Teams so teure oder unzuverlässige Schritte finden, Modelle und Harness-Konfigurationen vergleichen und systematisch prüfen, ob eine Änderung die Kosten senkt und dennoch die für die Aufgabe nötige Qualität liefert.
Die Plattform deckt nach Angaben des Unternehmens den gesamten Kreislauf aus Bauen, Betreiben, Optimieren und Steuern von Agenten ab, sodass Verbesserungen in derselben Umgebung erkannt und umgesetzt werden können. Kommende Erweiterungen sollen diesen Kreislauf weiter automatisieren, indem sie fortlaufend Vorschläge zur Kostensenkung und Qualitätsverbesserung produktiver Agenten machen, jeweils mit menschlicher Freigabe vor dem Rollout.
Maßgeschneiderte Modelle für wiederkehrende Aufgaben
Der zweite Teil der Ankündigung betrifft spezialisierte Modelle. Laut deepset können branchenspezifisch angepasste Entscheidungsmodelle und kleine Sprachmodelle wiederkehrende Aufgaben wie Klassifizierung, Routing und Verifikation effizienter erledigen. Das verringere die Abhängigkeit von Frontier-LLMs, senke die Kosten und ermögliche den Betrieb auf lokal kontrollierter Infrastruktur.
Die Services für maßgeschneiderte KI-Modelle richten sich an Behörden, Verteidigung, Energiewirtschaft und regulierte Branchen. Forward Deployed Engineers ermitteln die Anforderungen der Kunden, wählen Modelle aus, passen sie an oder trainieren sie nach und bewerten sie anhand von Qualitäts- und Kostenzielen, bevor sie in produktive Agenten-Workflows integriert werden. Laut deepset gehören die entwickelten Modelle den Kunden. Die modellunabhängige Orchestrierung von Haystack verbindet diese Modelle mit größeren LLMs, Unternehmensdaten und Tools, sodass sich Komponenten austauschen lassen, wenn neue Entwicklungen oder Anforderungen auftauchen.
CEO Milos Rusic beschrieb den Ansatz so: „Die Wirtschaftlichkeit von KI wird sich nicht dadurch lösen lassen, dass man das günstigste Modell wählt oder standardmäßig auf das Modell setzt, das diese Woche den Markt anführt.“ Ziel sei es, die Aufgabe zu den niedrigsten Kosten zu erledigen, die Qualitäts- und Sicherheitsanforderungen erfüllen. Das bedeute manchmal ein kleineres, spezialisiertes Modell und manchmal eine Verbesserung des Harness um ein größeres Modell.
Betriebsoptionen und Verbindung zu NVIDIA
Organisationen können die Haystack Enterprise Platform in der Public Cloud, in souveränen Cloud-Umgebungen wie STACKIT oder auf selbst betriebener Infrastruktur einsetzen. Gemeinsame Berechtigungen, Richtlinien und Nutzungskontrollen regeln, wie Agenten auf Modelle, Tools und Daten zugreifen. deepset zufolge können Teams so die Wirtschaftlichkeit ihrer KI innerhalb ihrer Sicherheits- und Regulierungsvorgaben verbessern, ohne Anwendungen an einen einzelnen Modellanbieter oder eine einzelne Betriebsumgebung zu binden.
Die Plattform nutzt NVIDIA Triton Inference Server für gemeinsam genutztes, GPU-beschleunigtes Embedding und Reranking. Über die Services für maßgeschneiderte Modelle können deepset-Ingenieure außerdem NVIDIA-Nemotron-Modelle bewerten und anpassen, wenn sie zu den Aufgaben eines Kunden passen. Auf der GTC Berlin tritt deepset gemeinsam mit NVIDIA in Sessions zu Trustworthy AI Platforms und Secure, Self-Improving Agents for On-Prem AI auf und ist an Stand 3071 zu finden.
Was das für Organisationen bedeutet
Die Ankündigung baut auf der Arbeit von deepset mit der Europäischen Kommission auf, deren selbst betriebene Plattform AI@EC gesteuerte KI-Anwendungen unterstützt, mit dem Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR), das einen KI-Assistenten zur Beratung bei der Projektförderung einsetzt, sowie mit Bosch, dessen DRIVE Companion die SAP-Migrationsteams unterstützt.
Für Organisationen, die Agenten produktiv betreiben, insbesondere in regulierten Branchen, verbindet das Angebot Ausgabenreporting, systematisches Testen und die Möglichkeit, maßgeschneiderte kleinere Modelle zu besitzen. Preise, Verfügbarkeitstermine für die kommenden Automatisierungsfunktionen oder Leistungskennzahlen nennt die Quelle nicht, sodass sich die Höhe möglicher Einsparungen erst in der Praxis zeigen muss.
