NVIDIA erweitert Agent Toolkit, damit Unternehmens-Agenten auf Firmendaten zugreifen können

Was das erweiterte Toolkit enthält

NVIDIA stellt das Update unter einen einfachen Gedanken: „Agenten sind nur so nützlich wie das, was sie wissen, und nur so vertrauenswürdig wie die Grenzen, innerhalb derer sie arbeiten.“ Nach Angaben des Unternehmens nutzen Firmen das Toolkit, um Agenten anzupassen und zu steuern, Unternehmensdaten in deren Antworten und Aktionen einfließen zu lassen, ihr Verhalten zu überwachen und ihren Betrieb zu regeln.

Das Agent Toolkit besteht nun aus mehreren Bausteinen:

• der neuen NVIDIA Agent Knowledge Foundation, die auf den NVIDIA CUDA-X-Bibliotheken aufbaut
• offenen NVIDIA-Modellen, darunter Nemotron Retriever und die neue Kumo-Familie
• NVIDIA OpenShell, einer sicheren Laufzeitumgebung für Agenten
• NVIDIA NemoClaw, einer Sammlung sicherer Agenten-Blueprints
• Werkzeugen und Skills wie NeMo Relay und NeMo Compass

NVIDIA argumentiert, Entwickler bräuchten einen offenen Agenten-Stack, der Modelle, Harness, Laufzeitumgebung, Daten und Werkzeuge zusammenführt, damit Agenten echte Arbeit leisten und von der Entwicklung bis zum Einsatz vertrauenswürdig bleiben.

So funktioniert die Agent Knowledge Foundation

Laut NVIDIA hilft die Foundation Unternehmen dabei, aus Daten Wissen zu machen, das Agenten nutzen können: Sie finden damit relevante Informationen, verstehen deren Bedeutung für das Geschäft und erstellen Prognosen, die Menschen bei der Entscheidung über die nächsten Schritte unterstützen. Unternehmen könnten sie einführen, ohne Daten zu verschieben, bestehende Workflows neu aufzubauen oder Governance-Kontrollen zu ändern, so das Unternehmen.

Enthalten sind die CUDA-X-Bibliotheken cuDF, cuGraph, cuML, cuOpt und cuVS sowie eine neue Bibliothek namens Auto-Ontology. Sie übersetzt nach Angaben von NVIDIA rohe Unternehmensdaten in vertraute Geschäftsbegriffe wie Kunden, Produkte und Bestellungen und bildet ab, wie diese zueinander in Beziehung stehen.

Außerdem bündelt die Foundation Nemotron Retriever und die offenen Kumo-Structured-Modelle: Kumo Tabular, Kumo Relational, Kumo Time Series und Kumo Forecast. Diese Modelle helfen Agenten, relevante Unternehmensinformationen zu finden, um Fragen zu beantworten und Vorhersagen zu treffen.

Auf der Kontrollseite legt OpenShell die Grenze der sicheren Laufzeitumgebung fest und gibt Unternehmen Kontrolle darüber, worauf Agenten zugreifen und was sie tun dürfen. Die NemoClaw-Blueprints dienen als Referenzentwürfe für sichere, spezialisierte Agenten. Der neueste davon zielt auf die Agentenoptimierung und bietet einen Schritt-für-Schritt-Einstieg, um die Intelligenz von Agenten zu verbessern, damit sie mit der Zeit besser in ihren Aufgaben werden.

Erste Anwender und gemeldete Ergebnisse

NVIDIA nennt mehrere Organisationen, die die Technologie bereits einsetzen. Die eigene Lieferkettenorganisation arbeitet mit Palantir zusammen und nutzt die Agent Knowledge Foundation über Palantir Foundry, Ontology und AIP, um spezialisierte Agenten bereitzustellen, aus proprietären Daten handlungsrelevante Erkenntnisse zu gewinnen, Ergebnisse vorherzusagen und Entscheidungen zu optimieren.

Databricks kombiniert NVIDIA Kumo Anomaly mit Databricks Genie Ontology, um kontextsensitive Agenten zu betreiben. Snowflake ermöglicht Kunden, die NVIDIA Kumo Engine und die offenen Kumo-Relational-Modelle in Snowflake-Notebook-Umgebungen für mehr Vorhersagefähigkeiten zu nutzen.

Zu Nemotron Retriever nennt NVIDIA mehrere Ergebnisse von Partnern:

• Amazon OpenSearch Service verbesserte mit dem Embedding-Modell die Relevanz bei weniger Suchschritten und praktisch ohne zusätzliche Latenz.
• Der feinabgestimmte Reranker von SAP lief fast dreimal so schnell.
• ServiceNow steigerte die Reranking-Qualität und senkte die Latenz um knapp ein Viertel.
• Zoom nutzt die Modelle, um Dokumentenverständnis, Suchrelevanz und Kontextabruf für Zoom AI Services zu verbessern.

Zudem zählt NVIDIA AWS, ClickHouse, Cloudera, Cohesity, Dassault Systèmes, Dell, Elastic, Exa, IBM, NetApp, Oracle, Perplexity, Starburst und VAST Data zu denjenigen, die auf der Foundation aufbauen.

Was das für Unternehmensteams bedeutet

Die Ankündigung, die rund um die GTC Berlin erfolgte, steht für einen Ansatz, bei dem die Qualität von Agenten vom Zugang zu gut organisierten Firmendaten abhängt und ihre Sicherheit von einer kontrollierten Laufzeitumgebung. Für Unternehmen lautet NVIDIAs Angebot, diese Schicht auf bestehende Datenplattformen und Governance-Strukturen aufzusetzen, statt von vorn zu beginnen.

Die Partnerliste umfasst Datenplattformen, Suchwerkzeuge und Unternehmenssoftware. Das deutet darauf hin, dass sich die Komponenten in Stacks einfügen sollen, die Firmen bereits betreiben. Die Leistungsangaben stammen aus NVIDIAs Darstellung der Partnerergebnisse. Interessierte Entwickler verweist NVIDIA außerdem auf eine Session der GTC Berlin zum Entwickeln, Bereitstellen und Optimieren spezialisierter Agenten im Produktivbetrieb.