ElevenLabs stellt auf dem New York Summit KI-Tools für Interaktionen vor

Domänenspezifische Modelle und Interaction Engine

ElevenLabs erklärte, dass das Unternehmen über Sprachmodelle hinaus expandiert und Tools für die umfassendere Interaktionsebene zwischen Menschen und Technologie entwickelt. Das Unternehmen gab einen Ausblick auf Updates, die Gespräche mit KI natürlicher machen und besser auf bestimmte Situationen zuschneiden sollen.

Die domänenspezifischen Speech-to-Text-Modelle sollen die in bestimmten Branchen verwendete Terminologie und deren Regeln erlernen. ElevenLabs hob Scribe v3 Medical hervor, ein Transkriptionsmodell für das Gesundheitswesen, das Tausende komplexer medizinischer Begriffe erkennen und zwischen Medikamentennamen wie Cycloserin und Cyclosporin unterscheiden kann. Das Unternehmen erklärte, dass sich außerdem ein domänenoptimiertes Modell für Finanzdienstleistungen in Entwicklung befindet.

In den kommenden Monaten sollen Unternehmen bestimmte Open-Source-Sprachmodelle und Sprachmodelle von ElevenLabs für den eigenen Einsatz feinabstimmen können. Sie sollen Daten aus laufenden Implementierungen einbringen, Kennzahlen wie den Kundenzufriedenheitswert oder die Zuverlässigkeit auswählen und gemeinsam mit Forschern von ElevenLabs die Modelle verbessern können.

ElevenLabs gab außerdem einen Ausblick auf die Interaction Engine. Das System steuert den Sprecherwechsel und Unterbrechungen und wählt für verschiedene Teile eines Gesprächs das passende Large Language Model aus. Laut dem Unternehmen könnte ein kostengünstigeres Modell die Triage übernehmen, während ein Frontier-Modell komplexere Aufgaben erledigt.

ElevenAgents erhält Gedächtnis und automatisierte Routinen

ElevenAgents ist die Plattform von ElevenLabs zum Konfigurieren, Bereitstellen und Verbessern von Sprach- und Chat-Agenten in Vertrieb, Support, Recruiting und Betrieb. Das Unternehmen erklärte, dass Kunden und Partner wie Yahoo, Westgate und KPN die Plattform bereits einsetzen.

Eine geplante Memory-Funktion soll es einem Agenten ermöglichen, im Laufe der Zeit ein Profil eines wiederkehrenden, authentifizierten Kunden aufzubauen. Sie soll Gesprächsdetails speichern, für die es möglicherweise kein Feld in einem CRM gibt, etwa Sprachpräferenzen, zeitliche Einschränkungen oder einen bevorstehenden Umzug. Nach jeder Interaktion fasst der Agent das Gespräch in einem strukturierten Datensatz zusammen und aktualisiert ihn, wenn der Kunde zurückkehrt.

ElevenLabs stellte außerdem Routines vor, eine Automatisierungsebene für Aufgaben vor, während und nach Gesprächen. Routines können sich mit vorhandenen Team-Tools und Systemen verbinden und so konfiguriert werden, dass sie Hypothekenantragsteller vorab prüfen, Patienten an Termine erinnern, abgesagte Termine Personen auf einer Warteliste anbieten, einen Bericht per E-Mail versenden, in ein CRM schreiben oder einen Anruf starten.

ElevenAI öffnet kostenlosen Early Access

ElevenAI ist eine neue App, die als KI-Kollege für Beschäftigte in Unternehmen entwickelt wurde. Sie hört gesprochene Gespräche, auch bei persönlichen Treffen, und wandelt sie in Notizen und nächste Schritte um. Die App bietet Diktierfunktion und Besprechungsnotizen auf Basis von Scribe v3, das ElevenLabs als sein neuestes und präzisestes Speech-to-Text-Modell bezeichnet.

Mit Einwilligung kann ElevenAI während Besprechungen Notizen erstellen und jedem Teilnehmer eine Zusammenfassung sowie Aufgaben bereitstellen. Die App kann während Anrufen auch Live-Unterstützung anbieten, Kontext teilen und die Zusammenarbeit zwischen Menschen und Agenten unterstützen. ElevenLabs erklärte, dass Mechanismen für Hinweise und Einwilligung integriert sind.

Der kostenlose Early Access für ElevenAI startet heute. Das Unternehmen erklärte außerdem, dass sein Partnernetzwerk auf mehr als 550 Partner in 44 Ländern gewachsen ist, und kündigte das ElevenLabs Partner Program an. Es soll Unternehmen dabei helfen, ElevenAgents gemeinsam mit Beratungen, Systemintegratoren, Softwareanbietern und Agenturen bereitzustellen.

ElevenLabs-CEO und Mitgründer Mati Staniszewski sagte, Konversationsagenten würden „kritische Infrastruktur für jedes Unternehmen“ werden. Die Ankündigungen zeigen, dass das Unternehmen beide Seiten der Interaktion am Arbeitsplatz adressiert: ElevenAgents konzentriert sich auf Kunden, während ElevenAI Beschäftigte unterstützt.