Samsung stellt zHBM vor: Speicher direkt auf dem KI-Prozessor gestapelt

Warum der Datentransport zum Engpass wird

Im zweiten Teil seiner Serie zu KI-Speicher argumentiert Samsung, dass die Leistung von KI-Systemen zunehmend davon abhängt, wie schnell und effizient Daten durch das System fließen, und nicht allein von der Rechenleistung. Als Treiber nennt das Unternehmen Inferenz, Reasoning, die Verarbeitung langer Kontexte und agentenbasierte KI. Mehr generierte Token und größere KV-Caches stellen laut Samsung höhere Anforderungen an den Speicher.

Die Herausforderung besteht Samsung zufolge darin, höhere Bandbreiten zu erreichen und zugleich Stromverbrauch und Abwärme der Datenübertragung im Griff zu behalten. Herkömmliche HBM-Architekturen platzieren den Speicher neben dem KI-Chip. zHBM geht darüber hinaus, indem der Speicher auf dem Prozessor selbst gestapelt wird. Das führe, so Samsung, zu kürzeren und dichteren Verbindungen.

Dichtere Verbindungen und kürzere Wege

Eine Kerntechnologie hinter zHBM ist die höhere Dichte der Verbindungen zwischen Speicher und Recheneinheit. Samsung kombiniert nach eigenen Angaben Wafer-on-Wafer-Stapelung (WoW) mit Hybrid Copper Bonding (HCB), das direkte Kupfer-zu-Kupfer-Verbindungen bei feinen Abständen ermöglicht. Kleinere Through Silicon Vias (TSVs) mit geringerem Rastermaß erlauben zudem mehr vertikale Verbindungen auf gleicher Fläche.

Zusammen mit der Distributed-I/O-Architektur erhöhen diese Verbindungen die Parallelität der Datenübertragung. Es können mehr Daten gleichzeitig fließen, was laut Unternehmen hohe Speicherbandbreiten ermöglicht, ohne allein auf immer höhere Datenraten pro Verbindung angewiesen zu sein.

Die direkte Stapelung verkürzt außerdem die Strecke, die Daten zurücklegen müssen. Kürzere Verbindungen können die Anforderungen an Treiber senken und die Schnittstellenschaltungen entlasten. Samsung prüft nach eigenen Angaben eine Architektur mit kurzen, breiten Verbindungen, die den Bedarf an komplexen Schnittstellenschaltungen verringert und weniger Energie für die Datenübertragung benötigt, was mit wachsender Bandbreite wichtiger wird.

Thermische Herausforderungen und Co-Design

Wenn Speicher und Recheneinheit näher zusammenrücken, entstehen neue thermische Probleme. Sitzt der Speicher direkt über dem KI-Chip und wird die Wärme nach oben abgeführt, muss die Abwärme des Prozessors unter Umständen durch den Speicherstapel hindurch. Samsung untersucht nach eigenen Angaben eine Optimierung der Stapelhöhe, die Speicherdichte und thermische Leistung ausbalanciert. Für einen stabilen Betrieb müssten Stapelaufbau, Verbindungsdichte und Wärmepfad gemeinsam entworfen werden, so das Unternehmen.

Da zHBM eng mit dem KI-Chip verzahnt ist, müssen Speicher und Recheneinheit laut Samsung schon in frühen Entwicklungsphasen zusammen betrachtet werden. Jeder KI-Chip stellt eigene Anforderungen an Leistung, Stromverbrauch, Thermik und Abmessungen, daher können Speicherbandbreite, Kapazität, Anordnung der Verbindungen und Stapelkonfiguration je nach Systemarchitektur variieren. Datenschnittstellen, Stromversorgung, Stapelung und Wärmemanagement müssten von Anfang an gemeinsam behandelt werden.

Was das für Kunden und den Markt bedeutet

Samsung verweist auf seine gebündelten Kompetenzen in Speicher, Logik- und Foundry-Technologien sowie im Advanced Packaging. Nach der Darstellung des Unternehmens bestimmt der Speicher, wie Daten abgelegt und bereitgestellt werden, Logik- und Foundry-Technologien unterstützen die Umsetzung der Schnittstellen, und Advanced Packaging ermöglicht die feinen vertikalen Verbindungen und Stapelstrukturen, die für die 3D-Integration nötig sind.

Das Unternehmen will gemeinsam mit Kunden zHBM-Lösungen entwickeln, die auf die Anforderungen ihrer KI-Chips an Leistung, Stromverbrauch, Thermik und Architektur zugeschnitten sind. Ziel ist es, die Verbindung zwischen Speicher und Recheneinheit im tatsächlichen KI-System gemeinsam zu optimieren. Leistungsdaten, Markteinführungstermine oder Verfügbarkeit nennt der Beitrag nicht, zHBM befindet sich weiterhin in der Entwicklung. Für Chipentwickler lautet die Botschaft: Künftige Speicherentscheidungen könnten gemeinsam mit dem Prozessordesign getroffen werden statt getrennt davon.