Supermicro baut KI-Inferenzsysteme mit SambaNova-SN50-Chips

NVIDIA-GPUs und SambaNova-Chips in einem System

Laut der Ankündigung von SambaNova vom 3. November wird Supermicro disaggregierte Inferenzsysteme integrieren, validieren, ausliefern und unterstützen, die NVIDIA-GPUs mit SambaNova-SN50-RDUs kombinieren. Die Systeme sind für agentische KI-Inferenz in Rechenzentren ausgelegt.

Die schrittweise Einführung beginnt mit einer ersten Lieferung von 10.000 SN50-Chips. Die Produkte werden zunächst an NeoClouds und souveräne Cloud-Anbieter verkauft, bevor sie später Unternehmen erreichen, die KI in ihren eigenen Rechenzentren betreiben.

Laut SambaNova wird die Partnerschaft von der Erwartung getragen, dass agentische KI-Systeme die Nachfrage nach Inferenz deutlich steigern werden. Solche Agenten können tausende Male große Sprachmodelle aufrufen, wobei ein einzelner Aufruf mehrere Minuten dauern kann. Daher können selbst moderate Geschwindigkeits- und Effizienzgewinne wertvoll sein.

Für die Verarbeitung von Anfragen und die Generierung von Antworten ist unterschiedliche Hardware nötig

Nach Angaben des Unternehmens lässt sich die Inferenz großer Sprachmodelle in zwei Phasen unterteilen. In der Prefill-Phase wird der Prompt verarbeitet. Sie ist vor allem rechenintensiv, was eine Stärke von NVIDIA-GPUs ist. Die Decode-Phase erzeugt dagegen die Antwort Token für Token und ist daher hauptsächlich speicherintensiv.

SambaNova-SN50-RDUs wurden speziell für diese zweite Aufgabe entwickelt. Laut SambaNova verbringen agentische Workloads den Großteil ihrer Zeit in der Decode-Phase, wodurch sich SN50-RDUs besonders gut für deren Beschleunigung eignen. Die Logik des Systems besteht darin, für jede Phase die passende Hardware einzusetzen.

Das Unternehmen behauptet, dass die gemeinsame Nutzung von SN50-RDUs und NVIDIA-GPUs eine schnellere und effizientere Inferenz ermöglicht, als es jeder Hardwaretyp allein leisten kann. SambaNova erklärte außerdem, dass SN50-RDUs eine schnelle Inferenz mit hohem Durchsatz für große Modelle ermöglichen, ohne eine außergewöhnlich hohe Rack-Dichte oder einen hohen Stromverbrauch zu erfordern. Dadurch, so das Unternehmen, können sie auch in bestehenden Rechenzentren eingesetzt werden.

Supermicro übernimmt Integration und Support

Rodrigo Liang, Mitgründer und CEO von SambaNova, sagte, Kunden könnten SN50-RDUs nun über einen globalen Partner bestellen, bei dem sie bereits GPUs kaufen. „So wird schnelle und effiziente Inferenz allgemein verfügbar“, sagte er laut der Erklärung von SambaNova.

Charles Liang, Präsident und CEO von Supermicro, erklärte, die Zusammenarbeit erweitere das DCBBS-Portfolio des Unternehmens. Laut der Erklärung umfasst dieses auch die Unterstützung heterogener Architekturen, die GPU-Computing mit spezialisierter Inferenzbeschleunigung kombinieren.

Supermicro ist für Integration, Validierung, Auslieferung und Support einschließlich Vor-Ort-Service verantwortlich. SambaNova-Ingenieure werden gemeinsam mit den Supermicro-Teams an Kundeneinsätzen arbeiten. Sie werden außerdem sicherstellen, dass die Modelle ordnungsgemäß laufen und für eine bestmögliche Leistung auf SN50-RDUs optimiert sind.

Aus Kundensicht erwartet SambaNova, dass die Partnerschaft die Beschaffung vereinfacht: Kunden werden SN50-RDUs über denselben Vertriebspartner kaufen können wie den Rest ihrer KI-Infrastruktur. SambaNova erwartet, dass durch die Zusammenarbeit 2027 deutlich mehr leistungsstarke Inferenzkapazität bereitgestellt werden kann, als dies ohne sie möglich wäre.