PyTorch Helion verkürzt Autotuning mit Heuristiken zur Compile-Zeit

PyTorchs Helion nutzt jetzt Heuristiken zur Compile-Zeit, um Kernel-Einstellungen auszuwählen, ohne langsame Autotuning-Suchen auszuführen. Das System analysiert die Zwischendarstellung und den Datenfluss eines Kernels und klassifiziert ihn anschließend als Matmul-, Reduktions- oder Pointwise-Kernel, um passende Konfigurationen auszuwählen.
- Helion wählt Kernel-Konfigurationen jetzt zur Compile-Zeit aus.
- Kernel werden als Matmul-, Reduktions- oder Pointwise-Kernel klassifiziert.
- Die Heuristiken wählen Blockgrößen, Warps, Stages und weitere Einstellungen.
- Tests zur linearen Attention erreichten auf H100 das 2,13-Fache von Helions bisherigem Standard ohne Autotuning.
- Tests mit vLLM-Reduktionen erreichten das 2,2-Fache von Helions bisherigem Standard.
Eine schnellere Alternative zum Tuning für jede Form
Helion ist die domänenspezifische Sprache von PyTorch für portable Machine-Learning-Kernel mit hoher Leistung. Die Performance hing bislang stark vom Autotuning ab, bei dem mögliche Konfigurationen für jeden Kernel und jede Form kompiliert und bewertet werden.
PyTorch zufolge benötigte ein früheres Team 10 Stunden, um einen einzelnen Paged-Attention-Kernel über 72 Formen im Quick-Modus und 25 Formen mit vollem Aufwand in Helion zu tunen. Der neue Ansatz berechnet eine Konfiguration während der Kompilierung, statt sie beim Tuning zu suchen.
Ein einzelner Helion-Kernel kann in Tausende von Triton-Kerneln übersetzt werden. Dabei stehen unter anderem Blockgrößen, Schleifenreihenfolgen, Indexierungsmodi und Pipelining-Strategien zur Auswahl. Die Heuristiken untersuchen Fakten aus der Geräte-IR, etwa gekachelte Achsen, anpassbare Blockgrößen und den Zeitpunkt, zu dem Kacheln im Kernel weiterhin aktiv bleiben.
So wählt Helion seine Einstellungen aus
Das System leitet jeden Kernel, der eine Matmul-Operation enthält, darunter hl.dot oder torch.baddbmm, an die Matmul-Heuristik weiter. Ein Kernel mit einer Reduktion, aber ohne Matmul, verwendet die Reduktionsheuristik. Andere Kernel nutzen die Pointwise-Heuristik. Sind nicht alle Ausdehnungen des Kernels zur Compile-Zeit bekannt, greift Helion auf seinen ursprünglichen Standardwert zurück.
Die Heuristiken wählen Konfigurationseinstellungen wie Blockgrößen, num_warps, num_stages, die L2-Gruppierung und Richtlinien zur Verdrängung von Ladevorgängen. Ihre Ressourcenanalyse schätzt den Bedarf an Registern, gemeinsamem Speicher und auf Blackwell auch an Tensor-Speicher. Außerdem schätzt sie die Auslastung und den Registerdruck, um Konfigurationen zu vermeiden, die zu Spill-over führen oder zu wenige kooperative Thread-Arrays starten.
Wenn Autotuning deaktiviert ist, liefert die primäre Heuristik die Standardkonfiguration. Ist Autotuning aktiviert, erzeugen die Hilfsheuristiken etwa 5, 20 verwandte oder alternative Konfigurationen, um die Suche zu initialisieren und vielversprechende Ausgangspunkte bereitzustellen.
Gemeldete Ergebnisse auf H100
PyTorch meldete Verbesserungen bei mehreren Workloads. In einem Test mit mehr als 96 Kernel-und-Form-Kombinationen aus neun Varianten der linearen Attention war die berechnete Konfiguration im Vorwärtslauf in Flash Linear Attention 1,18-mal schneller als handgeschriebener Triton-Code. Einschließlich des Rückwärtslaufs war sie auf H100 1,12-mal schneller. Gegenüber Helions bisherigem Standard ohne Autotuning war die Heuristik auf derselben Hardware 2,13-mal schneller.
Über mehr als 153 Kernel-und-Form-Kombinationen aus sechs produktiven vLLM-Reduktionskerneln war die berechnete Konfiguration 1,27-mal schneller als die handgeschriebenen CUDA- und C++-Operatoren von vLLM und 2,2-mal schneller als Helions bisheriger Standard.
Nach Angaben von PyTorch verändert die Aktivierung der Analyse die Kompilierungszeit nur vernachlässigbar, und zwar um einige Dutzend Millisekunden. Dieser Betrag gehe laut PyTorch im Rauschen der Triton-Kompilierung unter. Die Ergebnisse positionieren die Heuristiken als Möglichkeit, starke Standard-Performance zu erreichen und zugleich die mit breit angelegten Autotuning-Suchen verbundene Wartezeit zu vermeiden.
PyTorch: Fast by Default: Compile-Time Heuristics for Helion Kernels


