d-Matrix startet Squadron-Cluster mit bis zu 1.024 Corsair-XPUs für KI-Inferenz

Was Squadron ist und wen es adressiert

d-Matrix beschreibt Squadron als eine Reihe von Multi-Rack-Systemen auf Basis seiner speicherzentrierten Rechenarchitektur. Nach Angaben des Unternehmens eignen sich die Cluster für KI-Labore, Unternehmen und staatliche Organisationen, die latenzkritische Anwendungen betreiben, darunter Coding, persönliche Agenten, Cybersicherheit und Hochfrequenzhandel.

Squadron wurde gemeinsam mit Arista, Broadcom und Supermicro entwickelt. d-Matrix zufolge läuft das System bereits im eigenen Rechenzentrum in Arizona für interne Forschung und Entwicklung. Nun wird es an Prioritätskunden ausgeliefert, die es in ihren eigenen Anlagen installieren.

Sid Sheth, Gründer und CEO von d-Matrix, stellte das Produkt in seiner Keynote am ersten Tag des OCP Global Summit im San Jose Convention Center vor. Laut Pressemitteilung beschrieb er den Start als Teil des Wandels des Unternehmens „von einem spezialisierten Chiphersteller zu einem Anbieter von Recheninfrastruktur für Rechenzentren“.

Konfigurationen und Einsatz

Squadron skaliert bis zu 16 SquadRacks, also Racks mit jeweils acht Servern, zu einem integrierten Cluster mit bis zu 1.024 Corsair-XPUs. Die Cluster sind über d-Matrix JetStream NICs miteinander verbunden und nutzen die d-Matrix-Software Aviator für die Bereitstellung.

d-Matrix betont, dass die Cluster luftgekühlt sind und auf Industriestandards basieren. Kunden könnten sie nach Angaben des Unternehmens in bereits betriebene Rechenzentren integrieren und müssten weder auf Flüssigkühlung noch auf teure und zeitaufwendige Neubauten setzen.

Die breitere Corsair-Plattform gibt es auch in kleineren Einheiten. Kunden können einen einzelnen Corsair-Server, ein komplettes SquadRack oder einen Multi-Rack-Cluster von Squadron einsetzen, jeweils auf derselben Architektur. Charles Liang, President und CEO von Supermicro, sagte, die Zusammenarbeit zeige, dass Supermicro KI-Technologien über seine Data Center Building Block Solutions liefern könne.

Demo zur Attention-FFN Disaggregation

Squadron-Cluster können vollständige Modelle ausschließlich auf Corsair-XPUs ausführen. Sie sind zudem für heterogene Konfigurationen ausgelegt, bei denen die Arbeit zwischen GPUs und XPUs aufgeteilt wird. Das Unternehmen nennt diesen Ansatz disaggregiertes Computing.

In der Keynote sagte Sheth, d-Matrix habe Attention-FFN Disaggregation (AFD) auf einem Squadron-System in Kombination mit GPU-Servern umgesetzt. Laut d-Matrix ermöglichte die Auslagerung von Experts/FFN auf Corsair-Racks dem heterogenen System 845 Token pro Sekunde und Nutzer. Bei 64 gleichzeitigen Nutzern erreichte der Aufbau einen Gesamtdurchsatz von 20.415 Token pro Sekunde.

Das Unternehmen erklärt, AFD werde in der Branche bisher theoretisch diskutiert, und beansprucht für sich, es als Erstes auf heute verfügbarer, realer Hardware zu zeigen. Die Zahlen stammen von d-Matrix selbst und aus der Demonstration des Unternehmens.

Was das für Kunden bedeutet

Für Organisationen, die Inferenz mit niedriger Latenz benötigen, eröffnet die Ankündigung einen Weg zu großen Kapazitäten, ohne die Kühlinfrastruktur zu ändern, sofern sich die Aussagen des Unternehmens in der Praxis bestätigen. Die Verfügbarkeit ist eingeschränkt: Squadron wird als allgemein verfügbar für ausgewählte Kunden beschrieben, während Corsair-Server und SquadRacks breiter allgemein verfügbar sind. Preise oder Liefertermine nennt die Quelle nicht.

d-Matrix-Forscher wollten die AFD-Demo am OCP-Stand #C82 des Unternehmens am Mittwoch, 14. Oktober, um 11 Uhr PT und 14 Uhr PT sowie am Donnerstag, 15. Oktober, um 11 Uhr PT präsentieren. Interessierte Käufer können das Unternehmen über seine Vertriebsseite kontaktieren.