NVIDIA Hopper
AWS erklärt zwei Kernel-Optimierungen, die den Durchsatz von SageMaker AI auf H200 steigern
AWS hat zwei Optimierungen auf Kernel-Ebene für Fused-Mixture-of-Experts-Modelle (MoE) auf Amazon SageMaker AI beschrieben. Ein Trick mit Matrixtransposition bringt…
Für EntwicklerHelion bringt automatisch abgestimmte GEMM-Kernel in vLLM und schlägt CUTLASS und DeepGEMM auf Hopper
Das PyTorch-Team hat Helion, seine Python-basierte Kernel-DSL, in das Linear-Backend von vLLM integriert. Laut dem Team übertrifft Helion auf NVIDIA-Hopper-GPUs in allen…