Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

PyTorch Helion verkürzt Autotuning mit Heuristiken zur Compile-Zeit

12. November 2026, 17:45Von der KI Nachrichten RedaktionQuelle: PyTorch
PyTorch Helion verkürzt Autotuning mit Heuristiken zur Compile-Zeit
Bild: PyTorch

PyTorchs Helion nutzt jetzt Heuristiken zur Compile-Zeit, um Kernel-Einstellungen auszuwählen, ohne langsame Autotuning-Suchen auszuführen. Das System analysiert die Zwischendarstellung und den Datenfluss eines Kernels und klassifiziert ihn anschließend als Matmul-, Reduktions- oder Pointwise-Kernel, um passende Konfigurationen auszuwählen.

Das Wichtigste in Kürze
  • Helion wählt Kernel-Konfigurationen jetzt zur Compile-Zeit aus.
  • Kernel werden als Matmul-, Reduktions- oder Pointwise-Kernel klassifiziert.
  • Die Heuristiken wählen Blockgrößen, Warps, Stages und weitere Einstellungen.
  • Tests zur linearen Attention erreichten auf H100 das 2,13-Fache von Helions bisherigem Standard ohne Autotuning.
  • Tests mit vLLM-Reduktionen erreichten das 2,2-Fache von Helions bisherigem Standard.

Eine schnellere Alternative zum Tuning für jede Form

Helion ist die domänenspezifische Sprache von PyTorch für portable Machine-Learning-Kernel mit hoher Leistung. Die Performance hing bislang stark vom Autotuning ab, bei dem mögliche Konfigurationen für jeden Kernel und jede Form kompiliert und bewertet werden.

PyTorch zufolge benötigte ein früheres Team 10 Stunden, um einen einzelnen Paged-Attention-Kernel über 72 Formen im Quick-Modus und 25 Formen mit vollem Aufwand in Helion zu tunen. Der neue Ansatz berechnet eine Konfiguration während der Kompilierung, statt sie beim Tuning zu suchen.

Ein einzelner Helion-Kernel kann in Tausende von Triton-Kerneln übersetzt werden. Dabei stehen unter anderem Blockgrößen, Schleifenreihenfolgen, Indexierungsmodi und Pipelining-Strategien zur Auswahl. Die Heuristiken untersuchen Fakten aus der Geräte-IR, etwa gekachelte Achsen, anpassbare Blockgrößen und den Zeitpunkt, zu dem Kacheln im Kernel weiterhin aktiv bleiben.

So wählt Helion seine Einstellungen aus

Das System leitet jeden Kernel, der eine Matmul-Operation enthält, darunter hl.dot oder torch.baddbmm, an die Matmul-Heuristik weiter. Ein Kernel mit einer Reduktion, aber ohne Matmul, verwendet die Reduktionsheuristik. Andere Kernel nutzen die Pointwise-Heuristik. Sind nicht alle Ausdehnungen des Kernels zur Compile-Zeit bekannt, greift Helion auf seinen ursprünglichen Standardwert zurück.

Die Heuristiken wählen Konfigurationseinstellungen wie Blockgrößen, num_warps, num_stages, die L2-Gruppierung und Richtlinien zur Verdrängung von Ladevorgängen. Ihre Ressourcenanalyse schätzt den Bedarf an Registern, gemeinsamem Speicher und auf Blackwell auch an Tensor-Speicher. Außerdem schätzt sie die Auslastung und den Registerdruck, um Konfigurationen zu vermeiden, die zu Spill-over führen oder zu wenige kooperative Thread-Arrays starten.

Wenn Autotuning deaktiviert ist, liefert die primäre Heuristik die Standardkonfiguration. Ist Autotuning aktiviert, erzeugen die Hilfsheuristiken etwa 5, 20 verwandte oder alternative Konfigurationen, um die Suche zu initialisieren und vielversprechende Ausgangspunkte bereitzustellen.

Gemeldete Ergebnisse auf H100

PyTorch meldete Verbesserungen bei mehreren Workloads. In einem Test mit mehr als 96 Kernel-und-Form-Kombinationen aus neun Varianten der linearen Attention war die berechnete Konfiguration im Vorwärtslauf in Flash Linear Attention 1,18-mal schneller als handgeschriebener Triton-Code. Einschließlich des Rückwärtslaufs war sie auf H100 1,12-mal schneller. Gegenüber Helions bisherigem Standard ohne Autotuning war die Heuristik auf derselben Hardware 2,13-mal schneller.

Über mehr als 153 Kernel-und-Form-Kombinationen aus sechs produktiven vLLM-Reduktionskerneln war die berechnete Konfiguration 1,27-mal schneller als die handgeschriebenen CUDA- und C++-Operatoren von vLLM und 2,2-mal schneller als Helions bisheriger Standard.

Nach Angaben von PyTorch verändert die Aktivierung der Analyse die Kompilierungszeit nur vernachlässigbar, und zwar um einige Dutzend Millisekunden. Dieser Betrag gehe laut PyTorch im Rauschen der Triton-Kompilierung unter. Die Ergebnisse positionieren die Heuristiken als Möglichkeit, starke Standard-Performance zu erreichen und zugleich die mit breit angelegten Autotuning-Suchen verbundene Wartezeit zu vermeiden.

Ähnliche Meldungen

Meta stellt TLX vor, einen hardwarenahen Compiler für GPU-Workloads
Für Entwickler10. November 2026, 17:59

Meta stellt TLX vor, einen hardwarenahen Compiler für GPU-Workloads

Meta hat Triton Low-Level Extensions, kurz TLX, vorgestellt. Die Erweiterung für Triton soll die GPU-Leistung bei produktiven Workloads für maschinelles Lernen…

vLLM übernimmt stabile LibTorch-ABI für einfachere PyTorch-Upgrades
Für Entwickler6. November 2026

vLLM übernimmt stabile LibTorch-ABI für einfachere PyTorch-Upgrades

vLLM hat seinen CUDA-Build auf die stabile LibTorch-ABI von PyTorch umgestellt. Damit funktionieren die stabilen v0.33.0-CUDA-Wheels mit LibTorch-ABI über kompatible…

PyTorch Helion kann jetzt NVIDIA-Compiler-Steuerung zusammen mit GPU-Kernel-Einstellungen optimieren
Für Entwickler19. Oktober 2026, 17:45

PyTorch Helion kann jetzt NVIDIA-Compiler-Steuerung zusammen mit GPU-Kernel-Einstellungen optimieren

Der Autotuner von PyTorch Helion kann jetzt Compiler-Einstellungen unterhalb der Kernel-Ebene gemeinsam mit seinen üblichen Kernel-Konfigurationen durchsuchen. Die…