Lambda setzt NVIDIA Photonics in einer KI-Fabrik mit 10.000 GPUs ein

Lambda verbindet NVIDIA-GB300-NVL72-Racks mit mehr als 10.000 GPUs über NVIDIA-Photonics-Switches mit Co-Packaged Optics. Laut NVIDIA ermöglicht der Einsatz einen geringeren Stromverbrauch, eine höhere Ausfallsicherheit und längere mittlere Zeiträume zwischen Unterbrechungen beim Training von KI-Modellen im großen Maßstab.
- Lambda verbindet mehr als 10.000 GPUs mit NVIDIA-Photonics-Switches.
- In NVIDIA-Tests sank die Latenz auf Rack-Ebene um etwa 4 Prozent und auf Pod-Ebene um bis zu etwa 10 Prozent.
- NVIDIA verspricht eine bis zu 5-fach bessere Energieeffizienz und eine bis zu 15-fach höhere Zuverlässigkeit.
- Jeder Switch verfügt über 144 Ports mit 800 Gb/s und 18 austauschbare Lichtquellen.
- Die mediane Optiktemperatur lag bei 36 °C gegenüber 51 °C bei herkömmlichen steckbaren Optiken.
Co-Packaged Optics verbinden Lambdas GPU-Racks
Der Einsatz des Cloud-Anbieters nutzt NVIDIA-Photonics-Switches, um die Racks in einer KI-Fabrik zu verbinden. Jeder Switch verfügt über 144 Ports mit 800 Gb/s, während eine Flüssigkühlung die Wärme des Switch-Chips und der optischen Engines abführt.
Dave Ward, Präsident der Cloud-Services-Sparte von Lambda, sagte: „Netzwerke müssen mit den Anforderungen immer größerer KI-Cluster Schritt halten.“ Die Einführung von Co-Packaged Optics in einem Einsatz dieser Größenordnung bezeichnete er als „einen wichtigen Schritt zum Aufbau der Infrastruktur, die für die nächste Generation von KI benötigt wird“.
NVIDIA zufolge reduzierten Tests mit den Switches die Netzwerklatenz, also die für die Datenübertragung benötigte Zeit, auf Rack-Ebene um etwa 4 Prozent und auf Pod-Ebene um bis zu etwa 10 Prozent. Über Rack-, Scalable-Unit- und Pod-Konfigurationen hinweg erreichte das Netzwerk denselben Durchsatz wie herkömmliche steckbare Optiken.
NVIDIA zielt auf geringeren Stromverbrauch und weniger Unterbrechungen
NVIDIA erklärte, die Energieeffizienz und Ausfallsicherheit des Netzwerks seien wichtig, weil es im Zentrum der Produktivität einer KI-Fabrik stehe. Bei einem großen Trainingslauf kann eine einzige unterbrochene Verbindung Tausende GPUs ausbremsen. Das Unternehmen erklärte außerdem, dass eine Netzwerkstörung bei agentischer Inferenz kaskadierende Latenzeffekte über viele Agenten hinweg auslösen könne.
NVIDIA Photonics ersetzt steckbare Transceiver durch gemeinsam mit dem Switch-Gehäuse verbaute optische Engines. Laut NVIDIA ermöglicht dies eine bis zu 5-fach bessere Energieeffizienz und eine bis zu 15-fach höhere Zuverlässigkeit als herkömmliche steckbare Optiken. Das Design kommt zudem mit viermal weniger Lasern aus, wodurch sich die Zahl der ausfallgefährdeten Komponenten verringert.
NVIDIA erklärte, der geringere Energiebedarf sei relevant, weil jedes für das Netzwerk eingesetzte Watt nicht für Rechenleistung zur Verfügung stehe, während Unterbrechungen die Laufzeit von KI-Workloads verlängern könnten.
Austauschbare Lichtquellen erleichtern Wartung vor Ort
Die optischen Engines sitzen neben dem Switch-Chip im selben Gehäuse. Sie wandeln elektrische Signale in Licht um, das Daten per Glasfaser zwischen Teilen des Clusters überträgt. Durch die gemeinsame Integration verkürzt sich der elektrische Signalweg laut NVIDIA von Zoll auf Millimeter. Dadurch sinkt der Signalverlust, und Retimer-Chips werden überflüssig.
Jeder Switch verfügt über 18 austauschbare externe Lichtquellen, die die optischen Engines mit Licht versorgen. Techniker können diese Lichtquellen-Module vor Ort ersetzen. Bei herkömmlichen steckbaren Optiken muss bei einem Laserausfall das gesamte Modul ausgetauscht werden.
NVIDIA meldete bei Lambdas Einsatz eine mediane Optiktemperatur von 36 °C gegenüber 51 °C bei herkömmlichen steckbaren Optiken und erklärte, seine Tests hätten eine stabilere Signalintegrität ergeben. Für Lambda soll die Kombination aus geringerer Latenz, Energieeffizienz und vor Ort wartbaren Lichtquellen den Betrieb eines großen GPU-Netzwerks unterstützen und zugleich die Auswirkungen von Ausfällen und Hitze verringern.


