Salesforce stellt Koa Decisions für schnellere KI-Entscheidungen in Unternehmen vor

Ein Modell für gezielte Entscheidungen

Koa Decisions ist die nächste Version von Salesforce’ HyperClassifier-Modell, das das Unternehmen in Agentforce einsetzt, um Anfragen an den passenden Teil eines Agenten weiterzuleiten. Eine Frage wie „Wo ist mein Paket?“ kann an den Agententeil weitergeleitet werden, der sich um Versand und Lieferung kümmert, während andere Komponenten häufige Fragen, Werbeangebote oder Eskalationen bearbeiten.

Salesforce zufolge erweitert Koa Decisions den Einsatz von Entscheidungsmodellen über die Weiterleitung hinaus. Es kann eine Option aus einer Liste zurückgeben, eine Ja-oder-Nein-Entscheidung treffen oder eine Bewertung vergeben. Das Modell unterstützt außerdem Bilder und Audio. Salesforce plant, es für Salesforce-Entwickler auch auf Flows, Apex und Prompt-Vorlagen auszuweiten sowie eine API für Entwickler bereitzustellen.

Das Modell gehört zur Koa-Familie, zu der auch ein separates, gemeinsam mit NVIDIA entwickeltes Schlussfolgerungsmodell zählt. Nach Angaben von Salesforce hat das Data-Science-Team Koa Decisions mithilfe neuartiger Trainingsverfahren auf Basis von Googles Gemma entwickelt, einem Modell mit offen zugänglichen Gewichten.

Warum Salesforce Entscheidungsmodelle für schneller hält

Salesforce beschreibt große Sprachmodelle als Systeme, die Text erzeugen, während Entscheidungsmodelle darauf ausgelegt sind, fokussierte Entscheidungen zu treffen, die andere Software unmittelbar nutzen kann. So könnte eine Aussage eines Kunden wie „Ich kann mich nicht in meinem Konto anmelden“ den Bereichen Konten, Entwicklung oder Vertrieb zugewiesen werden. Ein Entscheidungsmodell gibt die ausgewählte Kategorie und einen Konfidenzwert zurück, statt eine längere Antwort zu formulieren.

Nach Angaben von Salesforce ergibt sich der Unterschied teilweise daraus, wie die Modelle Antworten erzeugen. Ein LLM generiert Text Token für Token, während ein Entscheidungsmodell die gesamte Anfrage liest und seine Antwort in einem einzigen Schritt erstellt. Das Unternehmen sagt, dass dies bei kurzen Antworten weniger Rechenleistung erfordern kann.

Bei Messungen zur Weiterleitung von Anfragen in Agentforce benötigte das Entscheidungsmodell von Salesforce nach eigenen Angaben ungefähr 26 Millisekunden, verglichen mit rund 1,4 Sekunden bei einem vielseitig einsetzbaren LLM. Die Zahlen stammen aus Messungen des Unternehmens und beziehen sich speziell auf die Weiterleitung von Anfragen.

Tests und Einsatzmöglichkeiten in Unternehmen

Nach Angaben von Salesforce können Nutzer Koa Decisions testen, ohne Salesforce-Kunden zu sein. Dafür müssen sie sich für ein kostenloses Trailhead-Konto anmelden und die Demo ausführen. Nutzer können Kategorien hinzufügen und die Beispielanfrage ändern, um zu sehen, wie das Modell seine Auswahl aktualisiert. Das gilt auch, wenn eine neue Kategorie hinzugefügt wird, ohne das Modell neu zu trainieren.

Das Unternehmen stellt diesen Ansatz der herkömmlichen Softwareklassifizierung gegenüber. Dabei mussten Teams häufig ein Ergebnis definieren, Daten sammeln und kennzeichnen, ein prädiktives Machine-Learning-Modell trainieren und dessen Genauigkeit überprüfen. Salesforce zufolge benötigten einige Unternehmenskunden früher Monate, um von einer Idee zur Produktion zu gelangen. Ein Entscheidungsmodell kann nach dem Hinzufügen einer Kategorie mitunter innerhalb weniger Stunden produktiv eingesetzt werden.

Salesforce präsentiert Koa Decisions als Möglichkeit, LLMs für das Schreiben und Schlussfolgern zu reservieren, während das Entscheidungsmodell schnelle operative Entscheidungen übernimmt. In einem Beispiel kann es ein Vertriebsgeschäft als gefährdet kennzeichnen und das zuständige Team auswählen, während ein LLM zusammenfasst, was sich geändert hat. Salesforce weist darauf hin, dass sich Preise und Pakete ändern können, die Verfügbarkeit je nach Region variieren kann und Kundenvereinbarungen die Verfügbarkeit regeln.