Marken bewerten ihren KI-Support mit 86 Prozent, doch nur 51 Prozent der Kunden stimmen zu

Warum die Zahlen auseinanderliegen

Laut Twilio messen die meisten Unternehmen ihre KI durchaus, schauen aber auf die falschen Größen. Der Beitrag nennt drei Quellen für Verzerrungen in gängigen Dashboards.

• Reichweite der Umfragen: Nur abgeschlossene Konversationen beantworten Umfragen. Eine CSAT-Umfrage nach der Interaktion erreicht Menschen, die bis zum Ende geblieben sind, nicht jene, die früher aufgegeben haben. Twilio-Recherchen ergaben, dass 71 Prozent der Verbraucher eine Konversation komplett abbrechen, wenn die KI sie nicht erkennt. Fast keiner dieser Abbrüche taucht in einem Zufriedenheitswert auf.
• Containment: Eine Konversation, die die KI ohne Eskalation bearbeitet hat, gilt als eingedämmt (contained). Das gilt aber auch, wenn der Kunde aufgegeben hat und nicht mehr antwortet. Beide Ausgänge sehen in den Daten identisch aus.
• Interaktionen versus Fortschritt: Marken bewerten eine Sitzung, Kunden dagegen beurteilen, ob das, was sie brauchten, tatsächlich erledigt wurde, einschließlich früherer Versuche auf anderen Kanälen.

Twilios Report Inside the Conversational AI Revolution ergab, dass 49 Prozent der Verbraucher sagen, die KI habe ihr Problem nie gelöst.

Was Kunden nach eigener Aussage wollen

Die Meinungsverschiedenheit erstreckt sich auch auf die Persönlichkeit der KI. Twilio zufolge glauben 73 Prozent der Marken, ihre Kunden wünschten sich KI mit menschenähnlicheren Persönlichkeiten, doch nur 54 Prozent der Verbraucher stimmen zu. Fast die Hälfte ist laut dem Beitrag neutral oder es ist ihr egal, ob der Assistent menschlich klingt.

Auf die Frage, was im Kundensupport am wichtigsten ist, waren die häufigsten Antworten praktischer Natur:

• Sofortige Problemlösung: 40 Prozent
• Schnelligkeit der Hilfe: 40 Prozent
• Richtigkeit der Informationen: 38 Prozent
• Verfügbarkeit rund um die Uhr: 38 Prozent

Twilio weist darauf hin, dass sich alle vier Merkmale messen lassen, eine Zufriedenheitsumfrage unter abgeschlossenen Konversationen darüber aber kaum etwas verrät.

Kennzahlen, die Twilio zusätzlich empfiehlt

Twilio rät nicht dazu, CSAT-Werte abzuschaffen. Das Unternehmen empfiehlt, weitere Messgrößen hinzuzunehmen:

• Abbruch nach Phase: an welcher Stelle der Konversation Menschen nicht mehr antworten.
• Lösungsquote für das eigentliche Anliegen: ob das zugrunde liegende Problem des Kunden erledigt wurde, auch über Sitzungen und Kanäle hinweg.
• Erneuter Kontakt innerhalb von sieben Tagen: beschrieben als der sauberste Indikator dafür, dass die erste Interaktion das Problem nicht gelöst hat, und zwar ganz ohne Umfrage.
• Containment nach Ergebnis aufgeschlüsselt: Konversationen, die die KI gelöst hat, getrennt von solchen, die der Kunde verlassen hat.
• Qualität der Eskalation: wie oft ein weitergeleiteter Kunde seine Situation erneut erklären muss. Laut dem Beitrag sagen 76 Prozent, der menschliche Mitarbeiter, an den sie geraten, wisse wenig oder nichts über sie und ihr Anliegen.

Was das für Marken bedeutet

Twilios Botschaft lautet, dass die 86-Prozent-Zahl keine Lüge sei und die Teams ihre Kennzahlen nicht manipulierten. Das Unternehmen nennt den Wert das ehrliche Ergebnis eines Messsystems, das nur Kunden sieht, die dabeigeblieben sind.

Als einfachen ersten Schritt schlägt das Unternehmen vor, einen Monat lang den Abbruch nach Phase auszuwerten und mit der Stichprobe der Zufriedenheitsumfrage zu vergleichen. Aus Sicht von Twilio dürfte der Abstand zwischen diesen beiden Gruppen ungefähr dem Abstand zwischen 86 und 51 entsprechen. Der Beitrag bewirbt außerdem Twilios Werkzeuge für das Konversationsmanagement, darunter Conversation Memory, Conversation Orchestrator und Conversation Intelligence, als Möglichkeit, die Lücke zwischen wahrgenommener und tatsächlicher KI-Leistung zu verkleinern.