Warum The Agentic Data Company echte Telefonate aufzeichnet, um Sprach-KI zu trainieren

Echte Gespräche statt Skripte

Laut Vestergaard entstehen viele Sprachdatensätze aus strukturierten Aufnahmesitzungen, in denen Teilnehmende Skripte vorlesen, auf Vorgaben reagieren oder Gespräche nachspielen. Diese Methoden lieferten zwar klare Aufnahmen, fingen aber oft nicht ein, wie Menschen natürlich miteinander kommunizieren. Echte Gespräche, so erklärt er, hängen von Beziehungen, Absichten, Kontext und gemeinsamen Erfahrungen ab. Wer Fremde bitte, alltägliche Interaktionen nachzuahmen, verändere die Art, wie sie sprechen.

Das Unternehmen sammelt Sprache stattdessen bei Tätigkeiten, die Menschen ohnehin ausüben. Es baut Anwendungen rund um diese Tätigkeiten, zunächst eine Telefon-App ähnlich WhatsApp, später auch Werkzeuge wie Meeting-Recorder. Zu den aufgezeichneten Situationen gehören Telefonate zwischen Familienmitgliedern, Meetings am Arbeitsplatz, Kundendienstgespräche und Unterhaltungen an Bestellstellen von Drive-throughs. Dort setzt das Unternehmen Aufnahmehardware an der Bestellstelle ein.

So wird das Audio erfasst

Vestergaard beschrieb mehrere technische Entscheidungen, die Forschenden beim Training von Modellen helfen sollen:

• Jede Person wird auf einem eigenen Audiokanal aufgezeichnet, manchmal auch Stem genannt, sodass sich jede Stimme unabhängig analysieren lässt.
• Die Kanäle sind synchronisiert, sodass Forschende das gesamte Gespräch samt Unterbrechungen, überlappender Sprache und Pausen rekonstruieren können.
• Das Audio wird mit 48 Kilohertz aufgenommen, das System tastet den Ton also 48.000-mal pro Sekunde ab, um detaillierte Klanginformationen zu erhalten.

Die gemeinsame Voraussetzung in allen Situationen sei Authentizität: Menschen sprechen aus einem echten Anlass, etwa um ein Problem zu lösen, Informationen auszutauschen, eine Entscheidung zu treffen oder eine Aufgabe zu erledigen.

Gezielt an der Schwäche eines Modells ansetzen

Vestergaard zufolge beginnt das Unternehmen damit, genau zu bestimmen, wo ein Modell Schwierigkeiten hat. Zu wissen, dass ein Modell etwa bei Flugbuchungen schlecht abschneidet, reiche nicht aus. Die Ursache könne eine missverstandene Anfrage sein, falsch abgerufene Informationen, ein Scheitern beim Umgang mit einer Korrektur oder Probleme, eine Aktion in einem anderen Softwaresystem abzuschließen.

Sobald der Fehler identifiziert ist, sucht das Unternehmen nach realen Situationen, in denen Menschen dieselbe Aufgabe erfolgreich erledigen, und sammelt diese Interaktionen. Der Datensatz werde um die konkrete Fähigkeit herum aufgebaut, die ein Modell benötige, sagt er, statt einfach mehr Sprache zum selben allgemeinen Thema zu sammeln.

Tonfall, Pausen und Unterbrechungen tragen Bedeutung

Vestergaard argumentiert, dass stimmliche Merkmale Informationen über die Worte hinaus vermitteln. Wer „I love it“ sagt, könne je nach Tonfall begeistert oder sarkastisch sein. Eine Pause könne Unsicherheit oder Nachdenken signalisieren, eine Unterbrechung ein Missverständnis korrigieren oder das Gespräch umlenken. Seiner Ansicht nach erfassen viele Sprachdatensätze diese Signale nicht detailliert genug.

Er erwartet, dass dieses Verständnis wichtig wird, je verbreiteter Sprachschnittstellen werden, also Systeme, mit denen Menschen per Sprache mit Computern interagieren. Er verweist auf Situationen, in denen Fehler Folgen haben, etwa bei Notrufdiensten und in der Kundenbetreuung.

Was für Sprach-KI als Nächstes kommt

Die nächste Herausforderung besteht laut Vestergaard darin, KI-Systemen beizubringen, gleichzeitig zu sprechen, zu denken und zu handeln. Als Beispiel nennt er einen Banking-Assistenten, der ein Gespräch am Laufen halten und zugleich Unterlagen prüfen, Informationen bewerten und entscheiden muss, was als Nächstes zu tun ist. Um das zuverlässig zu leisten, bräuchten Modelle Beispiele dafür, wie Menschen Gespräch, Entscheidungsfindung und Handeln in realen Situationen koordinieren.

Das Unternehmen gibt an, Entwicklern helfen zu wollen, Sprach-KI-Systeme zu bauen, die komplexere Aufgaben bewältigen und dabei natürlich kommunizieren. Dies sind die eigenen Aussagen des Unternehmens aus einem Interview, die Quelle nennt keine Leistungsergebnisse für seine Datensätze.