Warum sich das KI-Chipdesign laut OXMIQ-Labs-Chef zum Speicher hin verschiebt
Das Design von KI-Halbleitern verlagert seinen Schwerpunkt auf den Speicher, weil es schwieriger geworden ist, Recheneinheiten mit Daten zu versorgen, als mehr Rechenleistung hinzuzufügen. Das sagt Raja Koduri, Gründer und CEO von OXMIQ Labs. Seine Einschätzungen stehen in Teil 4 der Artikelserie „AI Ecosystem“ von SK hynix.
- Raja Koduri von OXMIQ Labs sagt in Teil 4 der Serie „AI Ecosystem“ von SK hynix, das KI-Chipdesign verschiebe sich in Richtung Speicher.
- Beschleuniger erreichen Leistungen im Petaflops-Bereich, doch die Datenbandbreite hat nicht Schritt gehalten.
- Das Lesen aus externem DRAM kann hunderte oder sogar tausende Male mehr Energie kosten als die Berechnung selbst.
- Transformer und lange Kontexte verringern die Datenwiederverwendung und lassen den KV-Cache wachsen, was Caches sowie DDR- und GDDR-Speicher belastet.
- Laut Artikel müssen Daten näher an die rechnenden Transistoren rücken.
Von der Rechenleistung zum Datenfluss
Die Serie von SK hynix beleuchtet, wie Software, Rechenzentrumsinfrastruktur, Halbleiter und Speichertechnologien in der KI zusammenspielen. In Teil 4 kommt Koduri zu Wort, der bei Apple, AMD und Intel die Entwicklung von GPU- und KI-Beschleunigerarchitekturen geleitet hat. Der Artikel argumentiert, dass Rechenleistung allein die Systemleistung nicht mehr bestimmt, sobald sich KI-Workloads in Richtung Inferenz und agentische KI verlagern.
Entscheidend für die Leistung von KI-Infrastruktur ist demnach nicht mehr das einzelne Rechenelement, sondern der Datenfluss im gesamten System. Leistung und Effizienz hängen zunehmend davon ab, wie GPUs, Speicher, Netzwerke und Storage zusammenarbeiten. Die Hinwendung zum Speicher beschreibt der Artikel als strukturellen Wandel aufgrund physikalischer Grenzen, nicht als vorübergehenden Trend.
Dem Mooreschen Gesetz folgend hat die Branche immer mehr Rechenschaltungen auf einem einzelnen Die untergebracht, und heutige KI-Beschleuniger erreichen Leistungen im Petaflops-Bereich. Die Bandbreite, die nötig ist, um diese Recheneinheiten zu füttern, hat damit jedoch nicht Schritt gehalten.
Energie- und Zeitaufwand beim Datentransport
Der Artikel betont, dass die Berechnung selbst vergleichsweise günstig geworden ist. Multiplikation und Addition benötigen nur wenige Femtojoule Energie. Das Lesen von Daten aus dem On-Chip-SRAM verbraucht deutlich mehr, und das Abrufen aus externem DRAM kann hunderte oder sogar tausende Male teurer sein. Je weiter die Daten von der Recheneinheit entfernt liegen, desto höher sind Zeit- und Energiekosten.
Auch die Speicherkapazität stellt ein Problem dar. On-Chip-Speicher, von Registern bis zu gemeinsam genutzten Caches, ist schnell, aber in der Kapazität begrenzt, während heutige KI-Modelle weit größere Mengen an Parametern und Zwischendaten verarbeiten. Daten müssen aus HBM oder DDR geholt, nach der Nutzung verdrängt und später erneut abgerufen werden, was Zeit und Energie zusätzlich belastet.
Wo der Flaschenhals liegt, hängt zudem vom Workload ab. Beim Training im großen Maßstab und bei Inferenz mit großen Batches kann die Rechenleistung als Grenze erscheinen. Bei Inferenz mit geringer Latenz und kleinen Batches kann dagegen die Speicherbandbreite die Leistung begrenzen, selbst auf demselben Silizium. Deshalb ist der Speicher laut Artikel immer häufiger der Ausgangspunkt für die Architektur von KI-Systemen.
Transformer stellen das Cache-Modell infrage
Die Computerarchitektur stützt sich seit Langem auf Caches, die davon ausgehen, dass Daten wiederverwendet werden. Bei herkömmlichen Workloads konnten schon kleine Mengen On-Chip-SRAM die DRAM-Zugriffe erheblich senken. Transformer, die gängige KI-Modelle dominieren, stellen diese Annahme laut Artikel infrage, weil sie enorme Parameterzahlen und lange Kontexte verarbeiten. Es wird schwierig, sämtliche Gewichte auf dem Chip zu halten, und bei der Inferenz wird jedes Gewicht womöglich nur wenige Male genutzt, bevor neue Daten gebraucht werden. Die Systeme lesen deshalb immer wieder aus DRAM oder HBM.
Längere Kontexte erhöhen die Last zusätzlich. Der KV-Cache wächst proportional zur Kontextlänge, und Attention-Operationen steigern sowohl den Rechenaufwand als auch die Speicherzugriffe. Agenten, die lange Kontexte verarbeiten, müssen in jeder Phase einer Aufgabe Zustandsinformationen abrufen. Laufen viele Agenten gleichzeitig, können herkömmliche Speicherarchitekturen auf Basis von DDR oder GDDR mit dem Datenfluss an ihre Grenzen stoßen.
Verfahren wie FlashAttention, PagedAttention und Speculative Decoding zielen darauf ab, Speicherzugriffe und Datenbewegungen zu verringern. Der Artikel weist jedoch darauf hin, dass sich die physikalischen Kosten des Datentransports nicht vollständig beseitigen lassen. Seine Schlussfolgerung für das Chipdesign: Daten müssen näher an die Transistoren rücken, die die Berechnung ausführen.
Was das für den Markt für KI-Hardware bedeutet
Der Artikel stellt HBM als erste große architektonische Antwort auf das Problem der Datenversorgung dar, doch der vorliegende Text bricht ab, bevor er dies näher ausführt. Die übergeordnete Botschaft aus Sicht eines Speicherherstellers lautet, dass sich der Wettbewerb bei KI-Halbleitern von der reinen Rechengeschwindigkeit hin zur zuverlässigen Bereitstellung ausreichender Datenmengen verschiebt, damit die Rechenressourcen durchgehend ausgelastet bleiben. Für Chipentwickler und Infrastrukturbetreiber heißt das: Chip-, Package- und Speicherarchitekturen müssen sich gemeinsam weiterentwickeln. Die Serie wird mit Teil 5 über Physical Intelligence und die Rolle des Speichers fortgesetzt.
SK hynix: [AI Ecosystem] The semiconductor paradigm shifts toward memory
