NVIDIA zeigt fünf Wege, wie jedes Byte AI-Speicher effizienter genutzt wird

Speichereffizienz rückt in den Mittelpunkt

In einem Blogbeitrag vom 05. Nov. 2026 bezeichnet NVIDIA den High-Bandwidth Memory, kurz HBM, als die schnellste, teuerste und am stärksten umkämpfte Speicherebene in einer AI-Fabrik. Nach Ansicht des Unternehmens erklärt die Kapazität allein nicht die Leistungssteigerungen zwischen den Generationen. Von GB300 zu NVIDIA Rubin blieb die Kapazität mit 288 GB unverändert, während die Bandbreite auf 19.2 TB/s stieg.

Die entscheidende Frage sei, wie viel nützliche Arbeit jedes Byte leistet, erklärt NVIDIA. Der Ansatz umfasst die GPU-Architektur, Scale-up-Verbindungen, Bereitstellungssoftware, die CPU und den Speicher. Ziel ist es, redundante Gewichtskopien, ungenutzten KV-Cache und wiederholte Präfixberechnungen zu reduzieren.

NVFP4 und breites Experten-Parallelisieren entlasten den HBM

NVIDIA zufolge speichert NVFP4 Werte mit einem 4-Bit-E2M1-Element und zwei Skalierungsebenen. Auf Gewichte angewendet, reduziert das Format den Modellumfang gegenüber FP16 um etwa den Faktor 3,5 und gegenüber FP8 um den Faktor 1,8. Der frei werdende Speicher kann mehr Kapazität für den KV-Cache, größere Batches und eine höhere Parallelität ermöglichen.

Das Unternehmen erklärt außerdem, dass der NVFP4-KV-Cache den Cache-Footprint gegenüber FP8 um bis zu 50 Prozent reduziert. Dadurch können etwa doppelt so viele Kontextdaten auf dem Gerät verbleiben. NVIDIA zufolge ist NVFP4 zur Standardpräzision für offene agentische Benchmarks wie AA-AgentPerf, SemiAnalysis AgentX und MLPerf Endpoints geworden.

Breites Experten-Parallelisieren in NVIDIA TensorRT-LLM verteilt die Gewichte von Mixture-of-Experts-Modellen auf acht oder mehr GPUs. Laut NVIDIA bleibt dadurch mehr HBM für den Cache verfügbar, während die arithmetische Intensität durch die Wiederverwendung von Gewichten steigt. Auf der GB200 NVL72 meldet das Unternehmen eine aggregierte NVLink-Bandbreite von 130 TB/s. In dem angeführten Test erzielte großes Experten-Parallelisieren bis zu 1,8-mal mehr Ausgabetoken pro Sekunde und GPU als kleines Experten-Parallelisieren.

Dynamo behandelt den KV-Cache als gemeinsame Ressource

NVIDIA Dynamo soll verhindern, dass nützlicher Kontext erneut berechnet werden muss, nur weil eine Anfrage eine GPU erreicht, auf der das entsprechende Präfix nicht vorhanden ist. Sein KV-bewusster Router erfasst, wo sich KV-Blöcke befinden, und berücksichtigt bei der Zuweisung von Anfragen neben der Auslastung der Worker auch die Überschneidung mit bereits gecachten Präfixen.

Das System trennt außerdem Prefill und Decoding auf unterschiedliche GPU-Pools. NVIDIA zufolge können Decoding-GPUs dadurch mehr HBM für den KV-Cache und die Batch-Größe reservieren. Der KV Cache Runner verfolgt Blöcke über GPU-, fest zugewiesene CPU- und Speicherebenen hinweg, darunter lokale SSDs und eingebundene Netzwerkdateisysteme. Gespeicherte Präfixe können so nach ihrer Entfernung aus dem GPU-Speicher wiederhergestellt werden.

Zusammen stützen diese Maßnahmen NVIDIAs übergeordnete These, dass der Wert von Speicher ebenso stark von seiner Platzierung und Wiederverwendung wie von seiner Kapazität abhängt. Für Nutzer agentischer AI-Systeme sollen sich dadurch mehr Kontextdaten im Speicher halten lassen, wiederholte Berechnungen seltener nötig sein und eine höhere Parallelität möglich werden. NVIDIA zufolge erreicht das gemeinsame Co-Design beim SemiAnalysis-AgentX-Workload mit 160 Token pro Sekunde und Nutzer bis zu 30-mal mehr Durchsatz pro Megawatt als die GB300 NVL72.