NVIDIA Dynamo-Triton erhält durchgängigen Workflow für generative HSTU-Empfehlungssysteme

Empfehlung als Sequenzmodellierung

Generative-Recommender-Systeme (GR) formulieren Personalisierung als Sequenzmodellierung über das Nutzerverhalten um. Interaktionen, Kontext, Kandidatenobjekte und Aktionen eines Nutzers werden zu Tokens in einem Ereignisstrom mit hoher Kardinalität, und das Modell erzeugt oder bewertet aus dieser Sequenz die nächsten relevanten Objekte. Laut NVIDIA steht das im Gegensatz dazu, Empfehlung als Abfolge isolierter Stufen für Retrieval, Ranking und Vorhersage zu behandeln.

Dieser Ansatz bringt eine Herausforderung beim Serving mit sich. Laut NVIDIA benötigen GR-Modelle trotz langer Verläufe, großer Embedding-Tabellen und sequenzlastiger Architekturen eine Inferenz mit niedriger Latenz. Im HSTU-Ranking-Beispiel besteht die Eingabe aus kategorialen Tokens: Kontext-Tokens für nutzerseitige Informationen, Item-Tokens für Objekte und optionale Aktions-Tokens für Nutzerinteraktionen. HSTU-Blöcke verarbeiten die Sequenz, und ein Prediction Head liefert Multitask-Ranking-Ergebnisse.

Was der Workflow vereint

Der Workflow bündelt mehrere Komponenten:

• HSTU-Modelle für das Ranking über Nutzersequenzen.
• PyTorch Ahead-of-Time Inductor (AOTI): Die Kompilierung exportiert das Modell mit torch.export und baut daraus ein Paket, das eine native C++-Laufzeitumgebung laden kann. Laut NVIDIA verringert das den Overhead der Python-Laufzeit.
• FlexKV-gestütztes KV-Caching, das wiederverwendbare Key-Value-Daten aus früheren Berechnungen speichert, sodass lange Nutzerverläufe nicht bei jeder Anfrage neu berechnet werden müssen.
• NV Embedding Cache, der nur häufig genutzte Embeddings im GPU-Speicher hält, während die gesamte Tabelle im CPU-Speicher bleibt.
• Deployment mit Dynamo-Triton über das PyTorch-Backend mit der Plattform "torch_aoti".

Der KVCacheManager nutzt GPU-Speicher und Host-Speicher. Der GPU-Cache ist als seitenbasierte KV-Datentabelle organisiert, die Lookup, Allokation, Anhängen und Verdrängung unterstützt; ältere Nutzer werden bei knappem Platz nach einer LRU-artigen Strategie verdrängt. Der exportierte Inferenzpfad enthält Cache-bewusste benutzerdefinierte Operationen für Lookup, Allokation, Onboarding, Anhängen und Offloading.

Das exportierte Paket enthält das AOTI-Modellarchiv sowie Metadaten und Dateien der Embedding-Tabellen. Python-Skripte erzeugen das Paket und die Replay-Tensoren, native C++-Programme spielen das Modell zur Prüfung von Korrektheit und Leistung erneut ab, und Dynamo-Triton stellt dasselbe AOTI-Paket bereit. Laut NVIDIA bleiben so Validierung in der Entwicklung und Produktivbetrieb im Einklang.

Fünf Stufen und der Benchmark

NVIDIA nennt fünf Stufen: Aufbau der benutzerdefinierten Operatoren und Laufzeitbibliotheken, Export des HSTU-Ranking-Modells mit PyTorch AOTI, Start des FlexKV-gestützten KV-Cache-Dienstes, Validierung der Artefakte per nativem C++-Replay und Bereitstellung des exportierten KV-Cache-AOTI-Modells mit Dynamo-Triton.

Auf einer NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU erreichte Dynamo-Triton mit PyTorch AOTI bei dynamischer Batchgröße 8 im Bestfall Beschleunigungen von bis zu 4,47-fach für das HSTU-Modell mit drei Schichten und 5,93-fach für das Modell mit acht Schichten. Diese Werte setzen eine GPU-KV-Cache-Trefferquote von 100 Prozent voraus und beziehen sich auf dieselbe AOTI-Konfiguration ohne KV-Caching.

Was das für Teams bedeutet

Für Teams, die sequenzielle Empfehlungssysteme entwickeln, beschreibt der Beitrag einen Weg von der PyTorch-Entwicklung zum Produktivbetrieb, ohne das Modell für eine separate Laufzeitumgebung neu schreiben zu müssen. Die genannten Zuwächse sind Bestwerte bei vollständiger Cache-Trefferquote auf einem GPU-Typ, reale Workloads können also abweichen. NVIDIA verweist auf den HSTU-Inferenzleitfaden in recsys-examples, um die Schritte für Export, Validierung und Deployment nachzuvollziehen, auf die Dynamo-Triton-Dokumentation zu HSTU für den Produktivbetrieb sowie auf die HSTU-Inferenz-Benchmarks zur Latenz über verschiedene Modelltiefen und Batchgrößen.