SambaNova und Intel zeigen luftgekühltes KI-Inferenzsystem

SambaNova und Intel zeigen ein luftgekühltes Inferenzsystem, das Intel-GPUs der D-Series für das Prefill mit SambaNova SN50 RDUs für das Decode kombiniert. Nach Angaben der Unternehmen kann das Design Anbietern dabei helfen, disaggregierte KI-Workloads in bestehenden luftgekühlten Rechenzentren bereitzustellen.
- Intel-D-Series-GPUs übernehmen das Prefill für Workloads mit langen Kontexten.
- Die RDUs des SambaRack SN50 übernehmen die Decode-Phase.
- Die Demonstration führt GLM-5.3 auf vier D-Series-GPUs und einem SN50-Rack aus.
- Der Bereitstellungs-Stack nutzt NVIDIA Dynamo, vLLM und NIXL.
- Die Unternehmen zielen auf bestehende luftgekühlte Rechenzentren.
Geteilte Architektur für Inferenz
Die Demonstration auf der SuperComputing 2026 führt GLM-5.3 über beide Hardware-Stacks aus. Zum Einsatz kommen vier Intel-D-Series-GPUs für das Prefill und ein SambaRack SN50 für das Decode. Damit zeigen die Unternehmen, wie die beiden Inferenzphasen auf Hardware ausgeführt werden können, die für unterschiedliche Workloads ausgelegt ist.
Beim Prefill wird der eingehende Prompt verarbeitet und der Key-Value- oder KV-Cache aufgebaut. Beim Decode werden anschließend nacheinander Ausgabetokens erzeugt. Laut SambaNova ermöglicht die Trennung der Phasen, die Prefill- und Decode-Ebenen unabhängig voneinander zu skalieren, je nachdem, ob der Datenverkehr von langen Prompts oder langen generierten Antworten geprägt ist.
Intel-GPUs übernehmen das Prefill
Intels D-Series mit dem Codenamen Crescent Island ist eine luftgekühlte PCIe-GPU mit 350 W für Inferenz in Rechenzentren. Das Unternehmen beschreibt sie als dedizierte Prefill-Engine für Workloads mit langen Kontexten. Sie verfügt über 32 Xe3P-Kerne, 256 XMX-Engines, 160 GB LPDDR5X und eine Speicherbandbreite von 1,5 TB/s.
Das bei OCP gezeigte Referenzdesign von Intel umfasst 80 D-Series-GPUs, eine Spitzenleistung von 208 Petaflops bei FP4-Berechnungen sowie je nach Konfiguration zwischen 12 TB und 38 TB Speicher pro Rack. Das Rack kann eine aggregierte Speicherbandbreite von 120 TB/s bereitstellen. SambaNova zufolge lassen sich andere Konfigurationen bei GPU-Anzahl, Speicher und Leistungsaufnahme an die jeweilige Einrichtung und den Workload-Mix eines Anbieters anpassen.
SambaRack SN50 erzeugt Tokens
Das SambaRack SN50 enthält 16 Reconfigurable Dataflow Units der fünften Generation von SambaNova, kurz RDUs, und benötigt für Inferenz typischerweise 20 kW. Laut SambaNova verketten die RDUs Modelloperationen über mehrere Chips hinweg zu einem kontinuierlichen Datenfluss. Dadurch werden beim Erzeugen von Tokens der Speicherverkehr und der Aufwand für den erneuten Start von Kerneln reduziert.
Für größere Modelle können bis zu 16 SambaRacks als skalierbare Einheit zusammenarbeiten, mit bis zu 256 RDUs. Nach Angaben des Unternehmens verteilt dieser Ansatz einen Workload auf Racks mit geringerer Leistungsaufnahme, anstatt ihn auf einem einzelnen, dicht bestückten und flüssigkeitsgekühlten Rack auszuführen.
Das System nutzt NVIDIA Dynamo für das Routing von Anfragen, vLLM für die Bereitstellung auf beiden Inferenzpfaden und NIXL, um den KV-Cache über UCX/RDMA in einem standardmäßigen RoCEv2-Ethernet-Netzwerk zwischen den Pools zu übertragen. SambaNova zufolge kann cachebewusstes Routing Anfragen an ein SN50 senden, das bereits ein passendes Präfix enthält. Dadurch lassen sich wiederholte Prefill-Berechnungen und KV-Übertragungen reduzieren.
Warum bestehende Rechenzentren wichtig sind
SambaNova argumentiert, dass eine luftgekühlte Bereitstellung Inferenzanbietern dabei helfen könnte, ihre Kapazitäten auszubauen, ohne auf neue Anlagen zu warten oder bestehende Rechenzentren auf Flüssigkühlung umzurüsten. Das Unternehmen verweist auf Sightline Climate. Wie Axios im Februar 2026 berichtete, könnten bis zu die Hälfte der weltweit für 2026 geplanten Rechenzentrumsprojekte von Verzögerungen betroffen sein. Als Gründe nennt der Bericht Einschränkungen bei der Stromversorgung, Engpässe bei Netzausrüstung und Widerstand aus der Bevölkerung.
Für Nutzer soll die vorgeschlagene Architektur die vertraute Bereitstellungssoftware beibehalten und Anbietern zugleich ermöglichen, Prefill- oder Decode-Kapazität getrennt voneinander hinzuzufügen. SambaNova und Intel zeigen das System auf der SuperComputing 2026, SambaNova am Stand 2246 und Intel am Stand 2819.
SambaNova: The Air-Cooled Token Factory: Intel GPU D-Series + SambaRack SN50

