Salesforce: Aktualisierte Speicherregeln verdoppeln Erinnerungsleistung von Agentforce Memory

Das Problem: Agenten handeln auf Basis veralteter Fakten

Salesforce erläutert das Problem an einem einfachen Szenario. Im März teilt ein Kunde einem Agenten mit, dass sein Büro in Bangalore liegt. Im Juni sagt er, das Büro sei nach Pune umgezogen. Im Juli stellt er eine Frage, die vom Standort abhängt, und der Agent antwortet, als befände sich das Büro noch immer in Bangalore.

Laut Salesforce gehört es zu den schwierigeren Aufgaben beim Gedächtnis von KI-Agenten, Angaben aktuell zu halten, wenn ein Kunde sie Monate später ändert. Selbst die fortschrittlichsten Agenten von heute können solche Änderungen übersehen, weil eine Antwort auf Basis eines älteren Fakts genauso aussieht wie eine auf Basis eines aktuellen. Die Folgen reichen dem Unternehmen zufolge davon, dass ein Kunde Informationen doppelt eingeben muss, bis dahin, dass die Catering-Bestellung eines Mitarbeiters ins alte Büro geliefert wird.

Wie Salesforce das Gedächtnis gemessen hat und was sich geändert hat

Salesforce AI Research hat ein Evaluierungs-Framework entwickelt, das klären soll, wie viel ein Agent tatsächlich behält. Es erzeugt lange Konversationen über mehrere Sitzungen, in die gezielt bestimmte Fakten eingestreut werden, spielt sie durch das laufende Agentforce-System und stellt dem Agenten anschließend Fragen, die von diesen Fakten abhängen. Die Gespräche stammen aus ConvoMem, einem öffentlichen Benchmark, den Salesforce 2025 veröffentlicht hat. Dass der gesamte Weg getestet wird, vom Moment, in dem ein Kunde etwas erwähnt, bis zu dem, in dem ein Agent darauf reagiert, macht das Ergebnis laut Unternehmen belastbar.

Das Framework diente dazu, Agentforce Memory zu verbessern, jene Funktion, die Agenten über Kundenangaben auf dem Laufenden hält. Laut Salesforce ist sie seit September allgemein verfügbar. Der Fortschritt kam durch eine aktualisierte Memory-Policy zustande, also die Regeln, die festlegen, was ein Agent behält und wie er reagiert, wenn sich Informationen ändern. Die neue Policy behält mehr von dem, was ein Kunde sagt. Außerdem behandelt sie eine Aktualisierung als Korrektur von etwas, das der Agent bereits weiß, und nicht als zusätzlichen Fakt, der neben dem ersten abgelegt wird.

Salesforce betont, dass sich unterhalb der Policy nichts geändert hat und Agentforce Memory weiterhin auf der Architektur läuft, mit der es gestartet ist. In der Evaluierung, die am Live-System durchgeführt wurde, ruft die aktualisierte Policy 1,8-mal so viele Fakten ab, die Kunden ausdrücklich nennen, wie die abgelöste Policy, und 2,2-mal so viele Fakten, die sich im Lauf der Zeit ändern.

Erik Nijkamp, Director of Research bei Salesforce AI Research, sagte: „Anhand der Antwort eines Agenten lässt sich nicht erkennen, ob er etwas nicht gespeichert oder das Gespeicherte nicht genutzt hat.“ Sobald man sehe, woran es scheitert, könne man es verbessern, „indem man eine Policy ändert, statt das System neu zu bauen“.

Warum Tests im Produktivbetrieb für Kunden wichtig sind

Salesforce argumentiert, die Evaluierung im Produktivbetrieb sei wichtig, weil sich Gedächtnis nur unter realen Bedingungen wie Gedächtnis verhalte: mit monatelangen Gesprächen, Live-Daten und einem Menschen, der auf die Antwort wartet. Silvio Savarese, EVP und Chief Scientist bei Salesforce, sagte, in einer Produktorganisation laufe „das Problem bereits, mit Kunden darauf, und die Disziplin besteht darin, es ehrlich zu messen, bevor man etwas ändert“.

Das Unternehmen verweist auf einen Kunden, eine Reiseplattform, der mit Agentforce einen Agenten für Mitarbeitende entwickelt hat. Der Agent beantwortet Teamfragen, fasst Fälle zusammen, entwirft E-Mails und aktualisiert CRM-Einträge. Mit dem verbesserten Gedächtnis trägt der Agent laut Salesforce den relevanten Kontext in jedes Gespräch hinein, sodass Vertriebs- und Servicemitarbeitende personalisierte, passende Antworten erhalten, ohne jedes Mal bei null anzufangen.

Salesforce erwartet, dass Unternehmen das Gedächtnis von Agenten künftig an einem Standard messen, wie sie es bei jedem anderen Teil ihrer Systeme tun. Aus Sicht des Unternehmens wird dieser Standard dadurch gesetzt, dass man testet, was ein Agent über ein ganzes Gespräch hinweg behält. Die genannten Zahlen stammen aus Salesforces eigener Evaluierung; eine unabhängige Überprüfung wird in der Quelle nicht beschrieben.