AWS führt nutzungsbasierte Abrechnung für SageMaker AI Streaming ein
AWS führt eine nutzungsbasierte Abrechnung für bidirektionales Streaming mit Amazon SageMaker AI ein. Dadurch können Modellanbieter den Verbrauch für Softwaregebühren im AWS Marketplace melden. Deepgram ist der Startpartner und bringt eine nutzungsbasierte Abrechnung für Speech-to-Text und Text-to-Speech in den Marketplace.
- AWS führt eine nutzungsbasierte Abrechnung für bidirektionales Streaming mit SageMaker AI ein.
- Deepgram ist der Startpartner für die nutzungsbasierte Abrechnung von STT und TTS.
- Ein zusätzlicher WebSocket überträgt inkrementelle Abrechnungsdatensätze.
- Gebühren für die Endpoint-Infrastruktur bleiben von den Softwaregebühren im Marketplace getrennt.
- Anbieter können festlegen, ob die Inferenz bei einem Ausfall der Abrechnung gestoppt wird.
Ein Abrechnungsmodell für Live-Streams
Kunden, die Streaming-Modelle auf Amazon SageMaker AI nutzen, zahlen weiterhin für die Endpoint-Infrastruktur, auf der diese Modelle betrieben werden. Die neue Funktion adressiert ein separates Problem: Wie können Modellanbieter die Nutzung während eines laufenden, lang andauernden Streams abrechnen?
Die bestehende Abrechnung im AWS Marketplace für Echtzeit-Inferenz mit Anfrage und Antwort auf SageMaker AI basiert auf einer Einheitenzahl in einem HTTP-Antwort-Header. Dieser Ansatz funktioniert, wenn die abrechenbare Menge beim Zurücksenden der Antwort bekannt ist. Bidirektionale Streaming-Sitzungen können jedoch 30 Sekunden oder 30 Minuten dauern, wobei sich die Nutzung bis zum Ende der Sitzung ansammelt.
Ein Antwort-Header kann die sich während dieser Sitzung verändernde Nutzung nicht melden. Laut AWS ermöglicht die nutzungsbasierte Abrechnung, dass die Softwaregebühr im Marketplace dem gemeldeten Verbrauch folgt, statt sich nach der Zeit zu richten, in der ein Modell verfügbar ist, einschließlich Ruhephasen.
Ein zusätzlicher WebSocket überträgt Abrechnungsdaten
Das System ergänzt die bestehende Inferenzverbindung um eine zweite WebSocket-Verbindung. Die Datenverbindung überträgt Inferenzanfragen und -antworten, während eine Metadatenverbindung ausschließlich für Abrechnungsinformationen vorgesehen ist.
Modellserver aktivieren die Funktion, indem sie im WebSocket-Upgrade-Response den Header X-Amzn-SageMaker-Metadata-Stream-Supported: true zurückgeben. SageMaker AI öffnet anschließend die zusätzliche Verbindung unter /invocations-bidirectional-stream-metadata, sofern der Anbieter keinen eigenen Pfad festlegt.
Beide Verbindungen verwenden dieselbe X-Amzn-SageMaker-Request-Id. Dadurch kann der Modellserver Abrechnungsdatensätze der aktiven Inferenzsitzung zuordnen. Die Datensätze werden als JSON-Textframes übertragen, wobei jeder Frame einen Abrechnungsdatensatz enthält. AWS empfiehlt, sie fortlaufend mit zunehmender Nutzung zu senden und beim Ende der Sitzung einen abschließenden Datensatz zu übertragen.
Der Metadaten-Stream erlaubt eine Nachricht pro Sekunde und Verbindung, wobei jede Nachricht bis zu 512 Byte groß sein darf. Die Datensätze verwenden die Dimension inference.count, während ConsumedUnits die Menge angibt. Bei einem Produkt, das Audiominuten sekundengenau abrechnet, würden beispielsweise 12 Minuten gemessener Ton 720 Sekunden entsprechen.
Kunden und Anbieter haben getrennte Aufgaben
Der Anbieter legt fest, was als abrechenbare Nutzung gilt, und das AWS-Marketplace-Angebot ordnet dieser Einheit einen Preis zu. Eine 12 Minuten lang offene Verbindung bedeutet nicht automatisch, dass 12 Minuten Audio abrechenbar sind. Die Zählregeln des Produkts bestimmen die gemeldete Menge, während die Gebühren für die SageMaker-AI-Endpoint-Infrastruktur getrennt anfallen.
Für Kunden, die Modelle zur Transkription, in Contactcentern, für Sprachagenten oder für Untertitel verwenden, fließt die Nutzung laut AWS in die konsolidierte AWS-Rechnung ein. Kunden können außerdem ausgehandelte Konditionen über private Angebote nutzen und müssen keine separate Abrechnungsbeziehung mit dem Modellanbieter verwalten.
Modellanbieter können ihre Server so konfigurieren, dass sie die Nutzung während Streaming-Inferenzsitzungen melden. Der SageMaker Marketplace Onboarding Agent Skill umfasst einen optionalen Pfad für die Inferenzabrechnung sowie Vorlagen, die die Unterstützung des Metadaten-Streams ankündigen und inkrementelle ConsumedUnits-Frames erstellen. AWS rät Anbietern, den Code vor der Einreichung zu prüfen und für den produktiven Einsatz abzusichern.
Anbieter können festlegen, ob die Inferenz fortgesetzt wird, wenn die Metadatenverbindung ausfällt. Der Header X-Amzn-SageMaker-Metadata-Stream-Required ist standardmäßig auf false gesetzt, sodass die Inferenz im reinen Datenmodus weiterläuft. Wird er auf true gesetzt, stoppt die Inferenz, sobald der Metadaten-Stream nicht verfügbar ist. Damit hat die Kontinuität der Abrechnung Vorrang vor der Verfügbarkeit der Inferenz. AWS weist darauf hin, dass die Übertragung über den Transportweg nicht garantiert, dass fehlerhafte oder verworfene Datensätze abgerechnet werden, und empfiehlt, die gemeldeten Einheiten mit den AWS-Marketplace-Berichten und den Gebühren der Käufer abzugleichen.
