Amazon EC2
AWS zeigt Multi-Turn Reinforcement Learning auf SageMaker AI am Beispiel eines Wordle-Agenten
AWS hat eine praxisnahe Anleitung zu Multi-Turn Reinforcement Learning (MTRL) auf Amazon SageMaker AI veröffentlicht. Am Beispiel von Wordle zeigt das Unternehmen, wie…
Deepgrams Nova-3 auf AWS Trainium2 verarbeitet 11, 70 % mehr Audio pro Dollar
Deepgram und das AWS Forward Deployed Engineering Team haben das Speech-to-Text-Modell Nova-3 auf AWS Trainium2 portiert. Nach eigenen Angaben verarbeitet das Setup pro…
vLLM: Push-basierter KV-Transfer senkt TTFT im AWS-Benchmark um bis zu das Dreifache
AWS hat einen Push-basierten NIXL-Connector zu vLLM beigesteuert, der die Koordination des KV-Cache-Transfers bei der disaggregierten Prefill-Decode-Inferenz vom…