TurboPairFormer beschleunigt OpenFold3-Training um bis zu 1,73×

Lambda, das Stevens Institute of Technology und das OpenFold-Team haben TurboPairFormer entwickelt, eine quelloffene GPU-Implementierung, die OpenFold3 bis zu 1,73× schneller trainiert als das ursprüngliche Triton-Backend. Das System zielt auf NVIDIA-Hopper-GPUs außerdem auf Gradientengenauigkeit und Reproduzierbarkeit.
- TurboPairFormer trainiert OpenFold3 bis zu 1.73× schneller als das ursprüngliche Triton-Backend.
- Bei den getesteten Crop-Größen erreichte es die niedrigste GPU-Berechnungszeit pro Optimierungsschritt.
- Die Implementierung reduzierte durch die Kompensation des Ausgaberests mehrere Gradientenfehler.
- Bei allen 600 festgelegten Eingabetests waren die Gradienten bitweise identisch.
- Das quelloffene Paket unterstützt NVIDIA-H100- und H200-GPUs.
Eine schnellere Implementierung der Dreiecksaufmerksamkeit
TurboPairFormer ist für Dreiecksaufmerksamkeit und Dreiecksmultiplikation ausgelegt, also für Operationen, die von Modellen zur Vorhersage biomolekularer Strukturen wie OpenFold3 verwendet werden. Diese Operationen helfen Modellen dabei, über eine dritte Komponente die Beziehungen zwischen Molekülpaaren zu erfassen und so die für die Vorhersage dreidimensionaler Strukturen erforderlichen geometrischen Informationen zu berücksichtigen.
Die Dreiecksaufmerksamkeit ist ein wesentlicher Berechnungsengpass, da ihre Kosten kubisch mit der Größe des Trainings-Crops skalieren. Eine Verdopplung der Crop-Größe macht die Operation etwa 8× teurer. Den Forschern zufolge kombiniert TurboPairFormer hardwarebewusste GPU-Optimierungen mit einer neu entwickelten Aufmerksamkeitsberechnung, um diese Kosten zu reduzieren und gleichzeitig numerische Präzision sowie Reproduzierbarkeit zu erhalten.
Das Paket ist quelloffen, über PyPI verfügbar und unterstützt derzeit NVIDIA-H100- und H200-GPUs.
Benchmarks zeigen die größten Vorteile bei größeren Crop-Größen
Das Team integrierte TurboPairFormer in OpenFold3 und verglich es mit sieben weiteren Backend-Konfigurationen: ByteDance Protenix, NVIDIA cuEquivariance, TriFast, MegaFold, DeepSpeed-Evo, ScaleFold und dem ursprünglichen OpenFold3-Triton-Backend. Die Tests verwendeten 16 H100-GPUs auf zwei Knoten sowie Crop-Größen von 384, 640 und 768 Tokens.
TurboPairFormer verzeichnete bei jeder getesteten Crop-Größe die niedrigste GPU-Berechnungszeit pro Optimierungsschritt. Bei Crop 768 benötigte es 12.58 Sekunden pro Schritt gegenüber 21.72 Sekunden bei OpenFold3 Triton und war damit laut Lambda 1.73× schneller. Auf H200-GPUs war das System bei Crop 768 1.54× schneller als OpenFold3 Triton und verkürzte die Zeit pro Schritt von 22.53 auf 14.67 Sekunden.
Die Messungen umfassten die Schritte 21 bis 200 und schlossen das Laden der Daten, Übertragungen vom Host zum Gerät sowie EMA-Aktualisierungen aus. Der Leistungsvorsprung wuchs mit der Crop-Größe, bei der die Dreiecksaufmerksamkeit teurer wird.
Genauigkeit und Reproduzierbarkeit sind Teil des Designs
TurboPairFormer berechnet im Rückwärtsdurchlauf jedes Kachel-Element der Aufmerksamkeitswahrscheinlichkeit einmal und verwendet das Ergebnis für die Gradienten von Queries, Keys, Values und Paar-Biases. Die Implementierung erfasst außerdem die Rundungsinformationen, die beim Umwandeln von FP32-Ausgaben in BF16 verloren gehen, und nutzt diesen Rest, um die Gradienten im Rückwärtsdurchlauf zu verbessern.
In kontrollierten Experimenten berichtet Lambda von 28% bis 47% weniger mittlerem Gradientenfehler durch diese Kompensation des Ausgaberests. Im Vergleich zu NVIDIA cuEquivariance reduzierte TurboPairFormer den mittleren Fehler bei Query-Gradienten um 31.4% bis 44.4%, bei Key-Gradienten um 28.7% bis 42.4% und bei Paar-Bias-Gradienten um 16.9% bis 37.9%. Die Genauigkeit der Value-Gradienten war im Wesentlichen gleich.
Für die Reproduzierbarkeit führten die Forscher 600 festgelegte Eingabefälle jeweils fünfmal auf einer H100-GPU aus. TurboPairFormer erzeugte in allen 600 Fällen bitweise identische Gradienten. In einem separaten Trainingstest mit demselben Checkpoint, denselben Zufalls-Seeds und denselben Trainingsbeispielen berichtet das Team von einem gleichmäßigen Loss ohne signifikante Schwankungen oder NaN-Werte.
Diese Ergebnisse könnten es Forschern ermöglichen, mehr Experimente zur biomolekularen Modellierung auf denselben GPUs durchzuführen. Laut Lambda könnten die Kernel Workloads wie die Vorhersage der Protein-Liganden-Bindung, strukturbasiertes Wirkstoffdesign und die Erforschung krankheitsbezogener Proteinfamilien unterstützen. Das Paket lässt sich mit pip install turbopairformer installieren.


