NVIDIA ergänzt TensorRT 11.1 um den Global Performance Tuner, der Engines für jedes Modell individuell abstimmt

Warum Scheduling so schwer zu meistern ist

In einem Entwicklerblog-Beitrag, dem ersten Teil einer zweiteiligen Serie, erläutert NVIDIA, dass der Einsatz eines neuronalen Netzes mehr umfasst, als jeden Operator in einen GPU-Kernel zu übersetzen. Beim Bau einer Engine trifft TensorRT voneinander abhängige Entscheidungen zu Graph-IR-Transformationen, Fusion, Auswahl der Implementierung, Speicherplatzierung und Quantisierung. NVIDIA nennt diesen Prozess Scheduling.

Unterschiedliche Scheduling-Entscheidungen können die Semantik des Modells erhalten und dennoch zu sehr verschiedener Inferenzleistung führen. Dem Beitrag zufolge gibt es keine Strategie, die für jedes Modell und jede Einsatzumgebung optimal ist. Eine Transformation, die ein Netz beschleunigt, kann ein anderes ausbremsen, und ein Kernel, der isoliert schneller ist, kann im Zusammenspiel mit Fusion, Tensor-Layouts oder Speichertraffic an anderer Stelle im Graphen Probleme bereiten. Aggressives Scheduling kann zudem die Leistung steigern und dabei die Genauigkeitsanforderung einer Anwendung verletzen. Diese Effekte zeigen sich oft erst, wenn die komplette Engine gebaut und vermessen wurde.

Das Problem mit Heuristiken

Laut NVIDIA begann die Leistungsarbeit an TensorRT bislang meist mit internen KPI-Modellen. Ingenieure analysieren diese Workloads, identifizieren optimierbare Muster und bilden die Erkenntnisse als Heuristiken in der Standard-Scheduling-Strategie ab. Nutzer profitieren automatisch von Optimierungen, die an repräsentativen Modellen gefunden wurden.

Mit der zunehmenden Vielfalt von Modellen und Einsatzumgebungen stößt dieser Ansatz an Skalierungsgrenzen. Eine Heuristik, die von einem internen Modell inspiriert ist, kann bei bekannten Mustern helfen, bei einem unbekannten externen Modell aber zu einer Verschlechterung führen. NVIDIA beschreibt drei miteinander verwandte Ausprägungen des Problems:

• Heuristik-Wildwuchs: Jede modellspezifische Regel bringt Wechselwirkungen mit sich, die verstanden und gepflegt werden müssen, und mit wachsender Regelzahl wird der Code nicht mehr wartbar.
• Verflechtung von Leistung und Genauigkeit: Kernel mit reduzierter Präzision und andere aggressive Optimierungen können numerische Abweichungen über die Toleranz einer Anwendung hinaustreiben, während Entscheidungen für höhere Präzision Leistung kosten.
• Leistungsanpassung: Entscheidungen, die für ein Modell oder eine GPU gut funktionieren, taugen für ein anderes womöglich nicht. Eine einzige universelle Strategie lässt sich daher kaum auf eine wachsende Bandbreite an Modellen, Hardware und Anforderungen zuschneiden.

Zur Veranschaulichung greift der Beitrag zu einer Koch-Analogie. Ein einziges Rezept kann nicht jeden Gast zufriedenstellen, deshalb hält der Koch ein Grundgericht bereit, macht die Gewürze konfigurierbar und lässt Kostproben probieren, um den Geschmack jedes Gasts zu treffen. Übertragen auf TensorRT ist die gemeinsame Pipeline das Grundrezept, die abstimmbaren Compiler-Konfigurationen sind die Gewürze, jedes ONNX-Modell ist ein Gast, und die End-to-End-Leistung entspricht der Zufriedenheit.

Ein mathematisches Rahmenwerk und drei Prinzipien

Der Beitrag entwickelt ein abstraktes Modell der Compiler-Leistung, um zwei Fragen zu trennen: Welche ausführbaren Artefakte kann ein Compiler für ein Modell erzeugen, und wie wählt er daraus das für die Leistung optimale aus? Ein Modell ist dabei die abstrakte Beschreibung der Berechnung, etwa ein ONNX-Graph, ein über die TensorRT-API erstelltes Netz, ein PyTorch-Modell oder eine andere Frontend-Darstellung. Eine Lösung ist das ausführbare Ergebnis für die Zielhardware, etwa eine TensorRT-Engine oder ein Cubin mit serialisierten GPU-Kernels. Die Menge der möglichen Lösungen bildet den Lösungsraum.

Nach NVIDIAs Zusammenfassung wird die Kompilierung als Builder-Algorithmus modelliert, der Kandidatenlösungen erzeugt, sowie als Suchalgorithmus, der unter Genauigkeitsvorgaben die schnellste zulässige auswählt. Der Global Performance Tuner führt anpassbare Build-Routen ein, die den Lösungsraum erweitern, und validiert jeden Kandidaten anhand der End-to-End-Genauigkeit und -Leistung. Drei Prinzipien leiten ihn: genauigkeitsbewusstes Tuning, anpassbare Build-Routen und ein großer Lösungsraum, aus dem die schnellste akzeptable Engine gewählt wird.

Was das für TensorRT-Nutzer bedeutet

NVIDIA versteht das Tuning als skalierbare Ergänzung zur heuristischen Optimierung und nicht als Ersatz. Statt jede erfolgreiche Entscheidung in eine einzige Standardstrategie zu gießen, lässt der Tuner TensorRT Alternativen für ein bestimmtes Modell testen und die schnellste Engine behalten, die die Genauigkeitsanforderungen der Anwendung erfüllt. Für Konfigurationsoptionen verweist NVIDIA auf die Dokumentation zum Global Performance Tuner, für Algorithmus, Architekturdesign und Best Practices auf Teil 2 der Serie. Angaben zu Preisen, unterstützter Hardware oder gemessenen Beschleunigungen enthält der vorliegende Quelltext nicht.