AWS Trainium
Hugging Face bietet Abfrage, welche Hub-Modelle auf AWS Trainium laufen
Hugging Face hat einen Blogbeitrag mit dem Titel "Does Your Model Run on AWS Trainium? Look It Up" veröffentlicht. Er verweist Entwickler auf einen Space, der anzeigt…
vLLM: Push-basierter KV-Transfer senkt TTFT im AWS-Benchmark um bis zu das Dreifache
AWS hat einen Push-basierten NIXL-Connector zu vLLM beigesteuert, der die Koordination des KV-Cache-Transfers bei der disaggregierten Prefill-Decode-Inferenz vom…
TorchNeuron bringt native PyTorch-Unterstützung für AWS-Trainium-Chips
PyTorch hat TorchNeuron vorgestellt, ein quelloffenes natives Backend, mit dem Entwickler bestehenden PyTorch-Code auf AWS Trainium ausführen können, indem der Chip als…