d-Matrix koppelt Corsair mit Nvidia H100 für Attention-FFN-Aufteilung mit niedriger Latenz
d-Matrix hat nach eigenen Angaben eine heterogene Inferenz-Pipeline entwickelt, in der eine Nvidia H100 die Attention übernimmt, während die Corsair-Beschleuniger des Unternehmens die Expertenberechnung eines Mixture-of-Experts-Modells ausführen. Laut Unternehmen erzeugt das Setup bei GPT-OSS-20B 845 Token pro Sekunde und Nutzer.
- d-Matrix kombiniert eine Nvidia H100 (Attention, KV-Cache, Routing) mit acht Corsair-Karten (Experten) für GPT-OSS-20B.
- Laut Unternehmen sank die TPOT von 2,59 ms auf einer einzelnen H100 auf 1,28 ms bei 1K Kontext, eine Reduktion um rund 50 Prozent.
- Das Setup erreicht 845 Token pro Sekunde und Nutzer, 64 Nutzer kommen auf einen Gesamtdurchsatz von 20.413 Token pro Sekunde.
- JetStream verbindet die Geräte per Ethernet mit 400 Gb/s pro Cluster und ermöglicht direkte, geräteinitiierte Kommunikation.
- Die Quelle nennt in der Einleitung 20.415 und später 20.413 Token pro Sekunde; alle Zahlen stammen von d-Matrix selbst.
So funktioniert die Attention-FFN-Disaggregation
Die Technik heißt Attention-FFN-Disaggregation (AFD). In der Architektur von d-Matrix verwaltet eine Nvidia-GPU Attention, Embeddings und das Routing zu den Experten, während Corsair die Expertenberechnung mit seiner SRAM-basierten Speicherarchitektur ausführt. Das Unternehmen gibt an, bereits gezeigt zu haben, dass spekulatives Decoding mit Corsair und GPUs funktioniert.
Als Testmodell dient GPT-OSS-20B, das d-Matrix als schlankes Mixture-of-Experts-Modell (MoE) beschreibt. Laut Unternehmen machen die Experten rund 19,12 der 20,9 Milliarden Parameter aus. Bei 4-Bit-Präzision passen sie auf einen Corsair-Server mit acht Karten und insgesamt 16 GB SRAM. Das Modell aktiviert pro Token 4 von 32 Experten, das sind etwa 3,6 Milliarden aktive Parameter.
Eine H100 mit 80 GB übernimmt die Attention-Schicht, den KV-Cache, die Embeddings und das Top-4-Expertenrouting. Statt bei jedem Schritt Expertengewichte aus dem HBM zu laden, schickt die GPU den Hidden State an Corsair und erhält die Ergebnisse der Feed-Forward-Berechnung zurück. Laut d-Matrix sind dafür zwei Übertragungen nötig statt vieler Speicherzugriffe.
JetStream und der LM-Head
Die H100 und die acht Corsair-Karten sind über JetStream verbunden, das d-Matrix als latenzoptimierte, transparente Netzwerkkarte beschreibt. Es ermöglicht Ethernet-basierte Kommunikation mit einer Netzwerkbandbreite von 400 Gb/s pro Cluster. Zudem unterstützt es geräteinitiierte Kommunikation: Der GPU-Kernel schreibt Daten direkt in den Corsair-Speicher, und Corsair schreibt die Ergebnisse direkt zurück in den GPU-Speicher, ganz ohne Host-CPU.
GPT-OSS-20B hat 24 Schichten, daher macht die Pipeline 24 Hin- und Rückwege zwischen Corsair und der H100, dazu einen weiteren für den LM-Head. Nach Angaben des Unternehmens verarbeitet Corsair das Feed-Forward-Netz, während die GPU bereits die Gewichte der nächsten Schicht vorlädt, sodass die Pipeline nur einen minimalen Anteil der Round-Trip-Latenz zu spüren bekommt.
Jede Corsair-Karte hält einen Shard des LM-Heads, der aus dem DRAM gestreamt wird, während die übrigen Schichten durchlaufen. Die GPU wählt anschließend das beste der acht vorgeschlagenen Ergebnisse aus. Laut d-Matrix verkürzte das die Zeit für den LM-Head um das Zehnfache und verbirgt den Off-Chip-Speicherverkehr weitgehend.
Gemeldete Leistungswerte
d-Matrix vergleicht das Setup mit einer einzelnen H100, auf der GPT-OSS-20B bei einer Kontextlänge von 1K läuft und eine TPOT (Time per Output Token) von 2,59 ms erreicht. Mit Corsair in der AFD-Pipeline meldet das Unternehmen 1,28 ms, eine Reduktion um rund 50 Prozent. Die Messungen sind auf den 10.10.2026 datiert.
Bei einer Batchgröße von 64 teilen sich zwei H100-GPUs dieselben acht Corsair-Karten, wobei jede GPU 32 Nutzeranfragen bearbeitet. Laut Unternehmen dauert ein vollständiger Decode-Schritt für 64 Nutzer bei einer Kontextlänge von 129 2,46 ms. Es meldet einen Gesamtdurchsatz von 20.413 Token pro Sekunde über alle Nutzer bei einer Kontextlänge von 1K/1K. In der Einleitung des Beitrags steht dagegen die Zahl 20.415 Token pro Sekunde, die Quelle ist hier also nicht konsistent. Ein direkter Vergleich mit reinen GPU-Setups bei Batchgröße 64 wird für einen späteren Blogbeitrag in Aussicht gestellt.
Die Gewinne führt das Unternehmen auf die Speicherbandbreite zurück. Das SRAM von Corsair biete 150 TB/s, was nach Angaben von d-Matrix dem 45-Fachen der Bandbreite von handelsüblichem HBM3 auf der H100 (rund 3,35 TB/s) und etwa dem 9-Fachen der 18 TB/s von HBM4 entspricht.
Was das bedeutet
d-Matrix argumentiert, die Aufteilung sei naheliegend, weil das FFN ein Objekt mit festem Speicherbedarf sei. Die Last auf Corsair hänge daher von der Batchgröße ab und nicht von der Kontextlänge, während die GPU die Komponenten übernimmt, die mit dem Kontext wachsen. Laut Unternehmen passt das luftgekühlte, PCIe-basierte Design von Corsair in gängige Rechenzentrumskonfigurationen.
Außerdem heißt es, Corsair lasse sich auf Modelle mit mehreren hundert Milliarden Parametern skalieren, anvisiert würden Modelle bis hin zu GLM 5.x und Kimi K3, und AFD und spekulatives Decoding könnten zusammenarbeiten. Alle Zahlen stammen aus eigenen Tests von d-Matrix und wurden nicht unabhängig überprüft. Das Argument des Unternehmens: Wer zur Latenzsenkung weitere GPUs hinzufügt, lässt viel Rechenleistung ungenutzt, ein disaggregierter Ansatz mit speicheroptimierten Beschleunigern sei eine Alternative.
