d-Matrix: Corsair senkt Latenz von Qwen3 235B auf 0,635 Sekunden

d-Matrix zufolge kann der Corsair-Beschleuniger Speculative Decoding beschleunigen, indem das Entwurfsmodell von GPUs auf spezielle Hardware verlagert wird. In einem Benchmark mit Qwen3 235B meldet das Unternehmen 476,4 Tokens pro Sekunde und 0,635 Sekunden Ende-zu-Ende-Latenz.
- Corsair führt das kleine Entwurfsmodell aus, während GPUs die Ergebnisse überprüfen.
- d-Matrix meldet für Qwen3 235B eine Ende-zu-Ende-Latenz von 0,635 Sekunden.
- Der Benchmark erreichte 476,4 Tokens pro Sekunde und Nutzer.
- Das Corsair-Setup verwendete 2x Corsair-Karten zusammen mit 2x H200-GPUs.
- Die d-Matrix Demo Cloud ist für ausgewählte Kunden allgemein verfügbar.
Corsair trennt die Erstellung von der GPU-Verifizierung
Beim Speculative Decoding schlägt ein kleineres Modell Tokens vor, bevor ein größeres Modell diese überprüft. In d-Matrix’ heterogener Pipeline übernehmen GPUs die Prefill-Phase und den Verifizierungs-Pool, während Corsair den Speculative-Decode-Pool ausführt.
Das Setup des Unternehmens verwendet Qwen3-1.7B auf zwei Corsair-Karten, um Entwurfsergebnisse zu erzeugen. Eine GPU wählt anschließend das beste Ergebnis aus und setzt das Entwurfsmodell neu auf. Laut d-Matrix führt der Corsair-Spekulator eine unabhängige Inferenzschleife mit einem eigenen KV Cache aus.
Der Ansatz zielt auf eine Einschränkung bei der Inferenz kleiner Modelle: Modellgewichte und KV-Cache-Daten müssen schnell durch den Speicher bewegt werden. Laut d-Matrix bietet Corsairs On-Chip-SRAM eine Speicherbandbreite von 150 TB/s, verglichen mit 3,35 TB/s bei herkömmlichem HBM3e.
Benchmark zeigt geringere Latenz als reine GPU-Alternativen
d-Matrix verglich vier Bereitstellungsszenarien für Qwen3 235B: Corsair-gestütztes Speculative Decoding, EAGLE3, eigenständiges GPU/GPU-Speculative-Decoding und eine Baseline ohne Spekulation. In jedem Szenario kamen 2x H200-GPUs für das Zielmodell zum Einsatz, während die Corsair-Konfiguration zusätzlich 2x Corsair-Karten für das Entwurfsmodell verwendete.
Am besten Betriebspunkt erreichte das Corsair-gestützte Speculative Decoding 476,4 Tokens pro Sekunde und Nutzer, bei einer TPOT von 2,10 Millisekunden und 0,635 Sekunden Ende-zu-Ende-Latenz. Das Unternehmen meldet gegenüber der Baseline ohne Spekulation eine 5,48-fache TPOT-Beschleunigung.
- EAGLE3 erreichte 210,5 Tokens pro Sekunde und Nutzer bei 1,311 Sekunden Ende-zu-Ende-Latenz.
- Das eigenständige GPU/GPU-Speculative-Decoding erreichte 181,8 Tokens pro Sekunde und Nutzer bei 1,502 Sekunden Ende-zu-Ende-Latenz.
- Die Baseline ohne Spekulation erreichte 87,0 Tokens pro Sekunde und Nutzer bei 3,033 Sekunden Ende-zu-Ende-Latenz.
Der Benchmark erzeugte 256 Ausgabetokens pro Anfrage. Die durchschnittliche Zeit bis zum ersten Token lag in allen Szenarien bei 100 Millisekunden. Corsairs gemessene Dauer für den Entwurfsschritt betrug 0,3 Millisekunden.
Ein längerer Lookahead half Corsairs Entwurfsmodell
Die Tests variierten die Lookahead-Länge zwischen 5 und 64 Tokens. Corsairs durchschnittliche Zahl akzeptierter Tokens stieg von 4,5 Tokens bei einem Lookahead von 5 auf 16,0 Tokens bei Lookahead-Werten von 56 und 64. Das beste Ergebnis wurde bei einem Lookahead von 32 erzielt, bei dem das System 476,4 Tokens pro Sekunde und Nutzer erreichte.
Laut d-Matrix blieb Corsair zwischen Lookahead 24 und Lookahead 56 über 460 Tokens pro Sekunde und Nutzer. Oberhalb von Lookahead 32 überwogen die zusätzlichen Kosten für den Entwurf die geringen Zuwächse bei der durchschnittlichen Zahl akzeptierter Tokens. Zum Vergleich: Die durchschnittliche Zahl akzeptierter Tokens bei EAGLE3 blieb über den getesteten Bereich hinweg zwischen 3,8 und 4,55.
Bereitstellung nutzt bestehende GPU-Infrastruktur
Die Referenzarchitektur kombiniert einen GPU-Knoten mit 2-4x H200s und einen Corsair-Knoten mit 8 Corsair-Karten. Auf dem GPU-Knoten läuft SGLang mit dem d-Matrix-Plugin und stellt einen OpenAI-kompatiblen HTTP-Endpunkt bereit, während der Corsair-Knoten das Entwurfsmodell mit nativer d-Matrix-Hardwarebeschleunigung ausführt.
Die Knoten kommunizieren über TCP, wobei gRPC für die Steuerung und einfaches TCP für die Datenübertragung genutzt wird. Laut d-Matrix besteht die Mindestausstattung aus einem GPU-Server und einem Corsair-Server. Der Datenverkehr läuft über eine einzelne integrierte 1G/10G-Ethernet-Verbindung. RDMA-Netzwerkkarten sind dem Unternehmen zufolge derzeit nicht erforderlich.
Clients können SGLangs von OpenAI entworfene Chat-Completions- und Responses-APIs nutzen, indem sie base_url des OpenAI SDK auf den GPU-Host verweisen. d-Matrix erklärt außerdem, dass die Demo Cloud allgemein für ausgewählte Kunden verfügbar ist. Die Ergebnisse positionieren Corsair als Erweiterung für Rechenzentren, die bereits GPUs einsetzen. Die gemeldeten Leistungswerte stammen jedoch aus der angegebenen Benchmark-Konfiguration des Unternehmens.


