deepset stellt auf der GTC Berlin offene Referenzarchitektur für selbstverbessernde Agenten vor

Referenzarchitektur für Agenten, die sich unter Aufsicht verbessern

Laut deepset entstand die offene Referenzarchitektur in der technischen Zusammenarbeit mit NVIDIA. Sie kombiniert die Orchestrierung mit Haystack mit offenen NVIDIA-Modellen und Software für Optimierung und kontrollierte Ausführung. Das Unternehmen erklärt, Organisationen erhielten damit eine Grundlage für Agenten, die aus Feedback lernen und Verbesserungen vorschlagen können, während sensible Workloads auf Infrastruktur bleiben, die sie selbst kontrollieren, darunter lokal betriebene und Air-Gapped-Umgebungen.

Malte Pietsch und Julian Risch stellten das Thema auf der GTC-Bühne in einer Session mit dem Titel "Evolve Within Bounds: Secure, Self-Improving Agents for On-Prem AI" vor. Es ging darum, Agenten leistungsfähig zu halten, sobald sie produktiv laufen und sich ihre Daten, Werkzeuge und Betriebsumgebung verändern.

Die begleitende Cybersecurity-Demonstration zeigte einen Agenten, der vertraulichen Quellcode auf Schwachstellen analysierte, während ein zweiter Agent dessen Durchläufe untersuchte und Verbesserungen vorschlug. Vorgeschlagene Änderungen werden vor der Freigabe evaluiert, und Kontrollen für Genehmigung, Audit und Rollback halten laut deepset den Menschen in der Verantwortung.

Für Entwickler verweist deepset auf eine zugehörige Anleitung zu einem Agenten für die Log-Analyse. Sie zeigt einen Haystack-Agenten auf NVIDIA DGX Spark, der Traces analysiert, Konfigurationsänderungen testet und mit lokalen Modellen Verbesserungen empfiehlt.

Kostenoptimierung und individuelle Modellservices

Die zweite Ankündigung betrifft neue Funktionen zur Kostenoptimierung von Agenten sowie Modellservices. Sie sollen laut deepset Behörden, Verteidigung und Industrie helfen, die Betriebskosten für KI zu senken und dabei eine hohe Qualität zu halten.

Die Haystack Enterprise Platform verbindet Entwicklung, Ausführung, Optimierung und Governance, mit Funktionen, um Betriebskosten zu vergleichen, die Antwortqualität zu bewerten und Probleme nachzuverfolgen. Individuelle Modellservices ergänzen dies, indem sie Organisationen dabei unterstützen, spezialisierte Modelle an ihre Anwendungen anzupassen.

NVIDIA stellte deepset außerdem in seiner Übersicht europäischer Projekte des öffentlichen Sektors vor, die offene Modelle nutzen. Laut deepset hebt der Beitrag die Haystack Enterprise Platform als Grundlage der KI-Plattform AI@EC der Europäischen Kommission hervor und beschreibt den Ausbau der Plattform. Er behandelt zudem ein geplantes Sovereign-Cloud-Angebot von secunet, NVIDIA, Red Hat und deepset für Organisationen, die mit eingestuften Informationen arbeiten.

House of Sovereignty, Panels und Hack Night

Neben seinem Konferenzauftritt öffnete deepset seine Berliner Zentrale als Treffpunkt für Menschen, die an KI arbeiten, der Organisationen vertrauen, die sie verbessern und nach eigenen Vorstellungen betreiben können. Ein Panel mit Roberto Sgnaolin, Christian Knobel und Sven Giesselbach fragte, wie Organisationen Souveränität mit schnellen Innovationszyklen verbinden können: neue Fähigkeiten übernehmen und zugleich die Kontrolle über Daten, Modelle, Infrastruktur und Anwendungen behalten.

Bei einer Community Hack Night konnten Entwickler Anwendungen mit Haystack bauen und gemeinsam mit dem deepset-Team arbeiten. Auf der Bühne diskutierte Milos Rusic mit Andreas Simon Rueckriegel, Michael Frings und Alexander Heinrich über KI in kritischen Anwendungsfällen und Umgebungen mit hohen Sicherheitsanforderungen. Das Unternehmen argumentiert, solche Gespräche gingen über die Leistungsfähigkeit von Modellen hinaus: Organisationen müssten auch steuern, worauf ein Agent zugreifen darf, nachvollziehen, wie er zu einem Ergebnis kommt, und entscheiden, wo die gesamte Anwendung läuft.

Nach Angaben von deepset besuchten Jensen Huang und Martin Blessing, der als persönlicher Beauftragter von Bundeskanzler Friedrich Merz für mehr ausländische Investitionen in Deutschland beschrieben wird, den Stand, um über Open Source und souveräne KI zu sprechen. Huang signierte den NVIDIA DGX Spark, auf dem der Live-Agent für Cybersecurity lief. Das Team traf außerdem Karsten Wildberger, Deutschlands Digitalminister, und sprach über gemeinsame Pläne mit Partnern wie n8n, Materna, secunet und Schwarz Digits.

Was das für Organisationen bedeutet

Die Ankündigungen richten sich an Organisationen, die Agenten einsetzen wollen, ohne die Kontrolle über ihre Modelle, Daten und Infrastruktur abzugeben. Die Referenzarchitektur ist offen, und die Kostenwerkzeuge adressieren die Ausgaben für den Betrieb von Agenten in hoher Qualität, ein Anliegen, das deepset ausdrücklich für Behörden, Verteidigung und Industrie nennt.

deepset beschreibt seinen Ansatz so, dass Teams KI als Gesamtsystem bauen, betreiben, verbessern und steuern können. Souveränität bedeute, Wahlmöglichkeiten zu haben und sie ändern zu können, und um dies zu erreichen, brauche es ein Ökosystem aus Open-Source-Entwicklern, Infrastrukturanbietern und Anwendungsentwicklern.