PyTorch
IBMs Spyre-Beschleuniger wechselt zu PyTorch Inductor und kommt mit einem rund siebenmal kleineren Compiler aus
Der PyTorch-basierte Software-Stack für IBMs Spyre-Beschleuniger hat sein torch.compile-Backend umgestellt: weg von sendnn, einem komplett von Grund auf entwickelten…
NVIDIA Dynamo führt Session-IDs ein, damit Inferenzserver KI-Agenten folgen können
NVIDIA Dynamo verknüpft die vielen Modellaufrufe eines Agenten jetzt über eine einzige Kennung auf Session-Ebene, sodass der Inferenzserver sie als ein Programm statt…
Für EntwicklerHelion bringt automatisch abgestimmte GEMM-Kernel in vLLM und schlägt CUTLASS und DeepGEMM auf Hopper
Das PyTorch-Team hat Helion, seine Python-basierte Kernel-DSL, in das Linear-Backend von vLLM integriert. Laut dem Team übertrifft Helion auf NVIDIA-Hopper-GPUs in allen…
ForschungMetas TLX-basierte Jagged Flash Attention schlägt FA4 auf Blackwell mit dreimal weniger Code
Metas Team hat mit TLX (Triton Low-level Extensions) einen Jagged-Flash-Attention-Kernel (JFA) für NVIDIA Blackwell B200 entwickelt. Laut dem Beitrag im PyTorch-Blog…
Modal Clusters sind allgemein verfügbar: Multi-Node-GPU-Zugriff mit einer einzigen Codezeile
Modal hat Modal Clusters allgemein verfügbar gemacht. Entwickler können damit Multi-Node-GPU-Workloads über einen einzigen Decorator starten, @modal.clustered. Laut…
NVIDIA Dynamo-Triton erhält durchgängigen Workflow für generative HSTU-Empfehlungssysteme
NVIDIA Dynamo-Triton, früher Triton Inference Server, unterstützt jetzt über das Repository NVIDIA recsys-examples einen durchgängigen Inferenz-Workflow für generative…