AWS bringt PolyAIs Sprachmodell Dialog-RSN-1 zu SageMaker JumpStart

PolyAIs Reasoning-Modell Dialog-RSN-1 für Echtzeit-Kundengespräche ist jetzt über AWS Marketplace und Amazon SageMaker JumpStart verfügbar. AWS-Kunden können es als Endpunkt in ihrer eigenen AWS-Umgebung bereitstellen.
- Dialog-RSN-1 ist über AWS Marketplace und SageMaker JumpStart verfügbar.
- Das Modell verarbeitet die Audiodaten von Anrufern und antwortet in Echtzeit.
- Die Endpunkte laufen im AWS-Konto und in der VPC des Kunden.
- JumpStart bietet Optimierungsprofile für Latenz, Durchsatz, Kosten und einen ausgewogenen Betrieb.
- Das Modell unterstützt Englisch und Verbindungen von bis zu 30 Minuten.
Ein Modell für Live-Kundengespräche
Dialog-RSN-1 ist darauf ausgelegt, komplexe Dialoge in Echtzeit zu verarbeiten. Laut AWS kann das Modell die Audiodaten eines Anrufers aufnehmen, ermitteln, was der Anrufer benötigt, und noch während desselben Gesprächs in einem einzigen Durchlauf antworten.
Das Modell richtet sich an Agenten, die auf die Details eines Live-Gesprächs reagieren müssen, darunter Tonfall, Zögern und Gesprächszeitpunkt. PolyAI zufolge verarbeitet Dialog-RSN-1 bereits Live-Anrufe in Produktionsumgebungen. Anders als ein System, das Sprache zunächst in Text umwandelt und anschließend ein separates Reasoning-Modell mit einem Transkript versorgt, arbeitet Dialog-RSN-1 direkt mit den Audiodaten des Anrufers.
Laut AWS kann dieses Design Agenten dabei helfen, schneller zu antworten und einem Gespräch besser zu folgen. Es unterstützt außerdem Barge-in, sodass Anrufer unterbrechen können, während das Transkript direkt aus den Audiodaten erstellt wird. Das Modell ist derzeit nur auf Englisch verfügbar.
Die Bereitstellung bleibt im AWS-Konto des Kunden
Dialog-RSN-1 ist das erste PolyAI-Modell, das über AWS Marketplace verfügbar ist. Kunden können es über den Marketplace abonnieren und als Amazon-SageMaker-Endpunkt in ihrem eigenen AWS-Konto bereitstellen. Alternativ können sie in Amazon SageMaker Studio starten oder das Modell im SageMaker-JumpStart-Katalog auswählen und auf „Bereitstellen“ klicken.
Der Endpunkt läuft innerhalb der AWS-Umgebung des Kunden, einschließlich seiner virtuellen privaten Cloud (VPC). Er verwendet die Rollen des Kunden für AWS Identity and Access Management und kann mit bestehenden Protokollen und Metriken von Amazon CloudWatch überwacht werden. Laut AWS verbleiben Audiodaten und Transkripte der Anrufer innerhalb einer vom Kunden kontrollierten Umgebung. Das unterstützt Anforderungen an Datenresidenz und Prüfbarkeit.
Die Verantwortung für Orchestrierung, Telefonieintegration und Geschäftslogik bleibt bei den Kunden. Das Modell übernimmt das Verstehen und Beantworten von Live-Anrufen, während der Endpunkt aus der bestehenden Architektur des Kunden erreichbar ist und über dessen AWS-Konto abgerechnet wird.
Bereitstellung per Klick und Profile für verschiedene Workloads
SageMaker JumpStart stellt für Dialog-RSN-1 eine Modellkarte, Übersichtsinformationen und Beispiel-Notebooks bereit. Ein Beispiel-Notebook kann aufgezeichnete Audiodaten von Anrufern streamen und die Entscheidungen des Modells zum Sprecherwechsel, Antworten und Transkripte anzeigen. So können Teams das Modell nach der Bereitstellung des Endpunkts mit ihren eigenen Anrufen bewerten.
JumpStart liefert außerdem einen vorkonfigurierten Serving-Stack. Nutzer müssen daher weder Container auswählen noch Instanztypen manuell bestimmen. Der Bereitstellungsprozess bietet vier Optimierungsprofile: für Latenz, für Durchsatz, für Kosten und ausgewogen.
- Für Latenz optimiert zielt auf interaktive Gespräche ab, indem die Time to First Token minimiert wird.
- Für Durchsatz optimiert zielt auf höhere Anrufvolumina ab, indem die Zahl der Tokens pro Sekunde maximiert wird.
- Für Kosten optimiert minimiert die Infrastrukturkosten pro Anfrage.
- Ausgewogen bietet für den allgemeinen Einsatz einen gleichmäßigen Kompromiss.
Vor der Bereitstellung zeigt SageMaker JumpStart die Latenz beim P50, die Time to First Token und Durchsatzmetriken an. Bereitstellungen lassen sich über die Konsole verwalten oder über das SageMaker Python SDK skripten, auch für Workflows zur kontinuierlichen Integration und kontinuierlichen Bereitstellung.
Protokoll und Verfügbarkeitsgrenzen
Der Dialog-RSN-1-Endpunkt verwendet das OpenAI-Realtime-Protokoll. Ein bestehender Realtime-Client kann sich über die Bridge von PolyAI verbinden, indem die Basis-URL geändert wird. Die Audioeingabe muss als 16-Bit-PCM-Mono mit 16 oder 24 kHz vorliegen. G.711- oder Opus-Audio muss zuvor transkodiert werden.
Verbindungen können bis zu 30 Minuten dauern. Diese Anforderungen bestimmen, wie Teams bestehende Telefonie- und Sprachanwendungen mit dem Modell verbinden müssen. Das AWS-Bereitstellungsmodell ermöglicht ihnen zugleich, ihre bestehenden VPC-, IAM- und Überwachungskontrollen anzuwenden.
Für Nutzer, die bereits auf Amazon SageMaker entwickeln, verringert die Ankündigung den Infrastrukturaufwand, der zum Testen und Ausführen von PolyAIs Echtzeit-Dialogmodell erforderlich ist. AWS-Kunden finden Dialog-RSN-1 auf AWS Marketplace oder können es direkt über Amazon SageMaker JumpStart bereitstellen.


