NVIDIA cuBLAS ergänzt FP64-Algorithmen für schnellere wissenschaftliche Simulationen

NVIDIA hat cuBLAS um zwei Algorithmen erweitert, die die Double-Precision-Matrixmultiplikation auf Integer-Tensor-Cores beschleunigen und dabei die vollständige FP64-Genauigkeit bewahren. Nach Angaben des Unternehmens bringt CUDA Toolkit 13.4.2 deutliche Vorteile für Workloads aus der Quantenchemie und Materialwissenschaft.
- CUDA Toolkit 13.4.2 ergänzt cuBLAS um die Algorithmen Ozaki-II und 2M.
- Ozaki-II beschleunigt reelles FP64-DGEMM auf Integer-Tensor-Cores.
- Das 2M-Verfahren reduziert komplexe Multiplikationen von vier reellen Operationen auf zwei.
- NVIDIA berichtet in den genannten Anwendungsbenchmarks von bis zu 6,6-facher Beschleunigung.
- Rubin-GPUs unterstützen TI16 und die Beschleunigung von Ozaki-Berechnungen über tcgen05.mma.
Ozaki-II und 2M zielen auf Workloads mit hoher Genauigkeit
Viele wissenschaftliche Simulationen verbringen einen großen Teil ihrer Laufzeit mit der dichten allgemeinen Matrixmultiplikation, kurz GEMM. cuBLAS, die NVIDIA-Bibliothek zur Beschleunigung von Basic Linear Algebra Subprograms auf den eigenen GPUs, nutzt nun die Algorithmen Ozaki-II und 2M, um reelle und komplexe Double-Precision-Berechnungen zu beschleunigen.
DGEMM verarbeitet reelle 64-Bit-Gleitkommazahlen, während ZGEMM komplexe 64-Bit-Gleitkommazahlen verarbeitet. NVIDIA zufolge zerlegt cuBLAS Double-Precision-Werte in Integer-Teile, verarbeitet diese auf Tensor-Cores und setzt das Ergebnis wieder zusammen. Die resultierenden Berechnungen behalten die vollständige Double-Precision-Genauigkeit.
Ozaki-II verbessert das frühere Verfahren Ozaki-I durch den Einsatz des chinesischen Restsatzes. Dadurch sinkt die Zahl der erforderlichen Integer-Matrixmultiplikationen. Das 2M-Verfahren gilt für komplexe Matrixmultiplikationen und reduziert die Operation von vier reellen Multiplikationen auf zwei.
Laut NVIDIA kann cuBLAS DGEMM und ZGEMM automatisch beschleunigen, ohne dass Änderungen am Anwendungscode erforderlich sind. Das Framework Automatic Dynamic Precision wählt die Integer-Breite zur Laufzeit, Nutzer können sie jedoch auch explizit festlegen. Lässt sich die gewünschte Genauigkeit über den Emulationspfad nicht einhalten, wechselt cuBLAS auf native FP64-Instruktionen zurück.
Gemeldete Leistungsgewinne auf NVIDIA-Systemen
NVIDIA berichtet, dass DGEMM mit Ozaki-II auf NVIDIA VR NVL72 5,5-mal schneller läuft als natives FP64 und auf NVIDIA GB200 3,9-mal schneller. Auf NVIDIA GB200 ist das Verfahren außerdem 2-mal schneller als Ozaki-I.
Für komplexe Berechnungen erreicht cuBLAS ZGEMM mit dem 2M-Algorithmus laut Unternehmen auf NVIDIA GB200 eine 5-fache Beschleunigung gegenüber nativem Complex FP64. NVIDIA zufolge erzielt Ozaki-II DGEMM bis zu 175, 147 beziehungsweise 37 TFLOPS auf NVIDIA VR NVL72, NVIDIA GB200 und NVIDIA RTX PRO 6000.
Das Unternehmen testete die Algorithmen außerdem in Anwendungsszenarien. In einem Workload der Quantenchemie für Coupled-Cluster-Singles-and-Doubles, kurz CCSD, erzielte Ozaki-II gegenüber nativem FP64 eine End-to-End-Beschleunigung um den Faktor 2 auf NVIDIA VR NVL72 und um den Faktor 1,4 auf NVIDIA GB200. In einem domänenspezifischen Modus mit gemischter Präzision lagen die gemeldeten Gewinne beim Faktor 5 beziehungsweise 3,5.
Bei BerkeleyGW-Simulationen aus der Materialwissenschaft berichtet NVIDIA für ZGEMM mit dem 2M-Algorithmus von Beschleunigungen um den Faktor 6,6 auf NVIDIA VR NVL72 und 3,9 auf NVIDIA GB200, jeweils im Vergleich zu nativem ZGEMM.
Rubin-Unterstützung und Zugriff über CUDA Toolkit 13.4.2
NVIDIAs Rubin-GPUs führen das numerische Format TI16 ein, das das Unternehmen als 12-Bit-Integer im Vorzeichen-Betrags-Format mit einem Wertebereich von [-2047, +2047] beschreibt. CUDA Toolkit 13.4 nutzt TI16, um Ozaki-I- und Ozaki-II-Berechnungen über die tcgen05.mma-Instruktion auf NVIDIA-Rubin-GPUs mit Compute Capability 10.7 zu beschleunigen.
Die Algorithmen sind in CUDA Toolkit 13.4.2 enthalten. NVIDIA verweist Entwickler für API-Details, darunter cublasSetEmulationStrategy und die manuelle Steuerung der Mantissenbits, auf den Abschnitt zur Gleitkommaemulation in der cuBLAS-Dokumentation. Außerdem verweist das Unternehmen auf cuBLAS-Emulationsbeispiele auf GitHub, mit denen sich die Gewinne anhand eigener Workloads bewerten lassen.
Für Forschende, die Simulationen in der Quantenchemie und Materialwissenschaft ausführen, bietet die Änderung eine Möglichkeit, schnellere Integer-Tensor-Core-Hardware für Workloads zu nutzen, die Double-Precision-Ergebnisse erfordern. Die gemeldeten Anwendungsbenchmarks deuten darauf hin, dass der Vorteil über isolierte Matrixmultiplikationen hinausgehen kann. Die Ergebnisse variieren jedoch je nach GPU, Algorithmus und Workload.
NVIDIA Developer: Faster Scientific Simulations with New FP64 Algorithms in NVIDIA cuBLAS


