Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

NVIDIA Vera Rubin NVL72 führt MLPerf-Tests für agentische Inferenz an

16. November 2026, 17:00Von der KI Nachrichten RedaktionQuelle: NVIDIA Developer
NVIDIA Vera Rubin NVL72 führt MLPerf-Tests für agentische Inferenz an
Bild: NVIDIA Developer

Laut NVIDIA erzielte Vera Rubin NVL72 in vorläufigen Ergebnissen von MLPerf Endpoints v1.0 bei drei Modellen für agentische KI einen 5- bis 10-mal höheren Durchsatz pro Kilowatt als GB300 NVL72. Bei gleicher Parallelität zeigen die Vergleiche außerdem eine 3- bis 5-mal höhere Ende-zu-Ende-Interaktivität.

Das Wichtigste in Kürze
  • Vera Rubin NVL72 erzielte bei drei Modellen einen 5- bis 10-mal höheren Durchsatz pro Kilowatt.
  • Bei gleicher Parallelität war die Ende-zu-Ende-Interaktivität 3- bis 5-mal höher.
  • Die Tests umfassten Kimi K3, DeepSeek-V4.1-Flash und Qwen3.6-35B-A3B.
  • Die Ergebnisse für Vera Rubin sind vorläufig und müssen noch von der MLCommons Association verifiziert werden.

Vera Rubin liegt bei drei Modellen vorn

Die Ergebnisse decken Kimi K3, DeepSeek-V4.1-Flash und Qwen3.6-35B-A3B ab. NVIDIA meldet im Vergleich zu NVIDIA GB300 NVL72 ein Verhältnis beim Durchsatz pro Kilowatt von 10:1 für Kimi K3, 9:1 für DeepSeek-V4.1-Flash und 5:1 für Qwen3.6-35B-A3B.

Für den Vergleich wurde bei jeder Plattform der beste Durchsatz pro bereitgestelltem Kilowatt herangezogen, wobei eine angegebene Mindestschwelle für die durchschnittliche Ende-zu-Ende-Interaktivität eingehalten werden musste. Bei Kimi K3 wurden beide Plattformen bei einer gemeinsamen Mindestvorgabe von 50 Tokens pro Sekunde und Nutzer verglichen. Laut NVIDIA erreichte Vera Rubin bei gleicher Anzahl paralleler Anfragen außerdem eine 3- bis 5-mal höhere Ende-zu-Ende-Interaktivität: 3-mal bei Kimi K3, 5-mal bei DeepSeek-V4.1-Flash und 3-mal bei Qwen3.6-35B-A3B.

Eine auf agentische Systeme zugeschnittene Arbeitslast

MLPerf Endpoints v1.0 bewertet das Verhältnis zwischen Bereitstellungskapazität und Reaktionsfähigkeit anhand von Programmier- und Unternehmens-Workflows, die über API-Endpunkte aufgerufen werden. Der Datensatz bildet die Anforderungen mehrstufiger Agenten ab, darunter wachsende Gesprächsverläufe, Schlussfolgerungen, Tool-Aufrufe und Antworten.

Während der Leistungstests werden generierte Tool-Aufrufe und die Absicht des Workflows mit Referenzwerten abgeglichen. Separate SWE-bench-Verified-Evaluierungen prüfen laut NVIDIA die Fähigkeit zur Lösung von Aufgaben von Anfang bis Ende. Damit soll bewertet werden, ob eine schnellere Bereitstellung die Modellqualität bewahrt.

In einem Ergebnis für Kimi K3 nutzte Vera Rubin NVL72 32 Beschleuniger und erreichte einen Systemdurchsatz von 41.414,2 Tokens pro Sekunde bei 100,89 kW. Das Ergebnis für GB300 NVL72 basierte auf 48 Beschleunigern und wies 2.210,4 Tokens pro Sekunde bei 60 kW aus. Beim gemeldeten Ergebnis für Vera Rubin lag die durchschnittliche Ende-zu-Ende-Interaktivität bei 50,4 Tokens pro Sekunde und Nutzer, beim Ergebnis für GB300 bei 56,2.

Optimierungen bei Hard- und Software

Laut NVIDIA kombinieren Rubin-GPUs HBM4-Speicher, NVIDIA Tensor Cores und NVIDIA NVLink der sechsten Generation für agentische Inferenz. HBM4 ermöglicht den Zugriff auf Modellgewichte und den Gesprächszustand, Tensor Cores beschleunigen Matrixoperationen und NVLink unterstützt die Kommunikation zwischen GPUs.

Das Unternehmen verweist außerdem auf kontextbewusste Bereitstellungstechniken wie Prefix-Caching, die Wiederverwendung von Zuständen und das Routing mit NVIDIA Dynamo. Diese Verfahren nutzen bereits ausgeführte Berechnungen erneut und verteilen die Bereitstellungslast über agentische Arbeitslasten hinweg. Zu den modellspezifischen Optimierungen gehören DeepSeeks MegaMoE-Kernel sowie Qwens Multi-Token-Prediction mit Tensor-Core-Verifizierung. Laut NVIDIA reduzieren sie die Datenbewegungen und die Zahl sequenzieller Dekodierungsschritte.

Die Ergebnisse sind weiterhin vorläufig

Die Zahlen für Vera Rubin wurden als vorläufige Ergebnisse veröffentlicht und müssen noch von der MLCommons Association verifiziert werden. Laut NVIDIA können sie sich im Zuge der Begutachtung durch Fachkollegen noch ändern. Die Ergebnisse für GB300 wurden von der MLCommons Association verifiziert.

Für Organisationen, die Agenten betreiben, könnte die gemeldete Effizienz mehr gleichzeitig aktive Agenten innerhalb desselben Energiebudgets ermöglichen, während eine ähnliche Reaktionsfähigkeit erreicht wird. Die Benchmark-Ergebnisse positionieren Vera Rubin NVL72 damit als Plattform für den wachsenden Bereitstellungsbedarf mehrstufiger Programmier- und Unternehmens-Workflows. Der endgültige Status der MLPerf-Ergebnisse bleibt jedoch offen.

Ähnliche Meldungen

CoreWeave meldet zehnmal mehr Tokens pro Megawatt mit Vera Rubin NVL72
Chips und Infrastruktur19. November 2026, 23:40

CoreWeave meldet zehnmal mehr Tokens pro Megawatt mit Vera Rubin NVL72

CoreWeave zufolge erzeugte NVIDIA Vera Rubin NVL72 in einer DeepSeek-R1-Evaluierung zehnmal mehr Tokens pro Sekunde und Megawatt als NVIDIA GB200 NVL72. Verglichen wurde…

MiTAC stellt auf der SC26 Full-Stack-Infrastruktur für agentische KI vor
Chips und Infrastruktur17. November 2026, 04:15

MiTAC stellt auf der SC26 Full-Stack-Infrastruktur für agentische KI vor

MiTAC Computing präsentiert auf der SC26 ein Full-Stack-Infrastrukturportfolio für agentische KI, das flüssigkeitsgekühlte Server, disaggregierte Inferenz und…

Lambda meldet schnelleres KI-Training mit NVIDIA-Blackwell-Ultra-GPUs
Chips und Infrastruktur16. November 2026, 17:31

Lambda meldet schnelleres KI-Training mit NVIDIA-Blackwell-Ultra-GPUs

Lambda meldet eine Verbesserung um den Faktor 2,86 beim Training eines Mixture-of-Experts-Sprachmodells und um den Faktor 1,50 beim Training eines Bildmodells in der…