NVIDIA bringt Confidential Bare Metal für Entwickler von Frontier-Modellen
NVIDIA hat sein Confidential-Computing-Portfolio um Confidential Bare Metal erweitert. Die neue Bereitstellungsoption soll es Entwicklern von Frontier-Modellen ermöglichen, sensible Workloads auf dedizierter Infrastruktur von Drittanbietern zu betreiben und dabei die Kontrolle über ihre Modelle und Daten zu behalten. Laut NVIDIA gehören Cohere und Google Cloud zu den ersten Unterstützern.
- NVIDIA hat Confidential Bare Metal vorgestellt, eine neue Bereitstellungsoption für NVIDIA Confidential Computing, die sich an Entwickler von Frontier-Modellen richtet.
- Neue Plattformkontrollen schützen Daten bei der Übertragung, messen die Plattformintegrität und erzwingen Zugriffsbeschränkungen auf Hardwareebene.
- Cohere plant den Einsatz in Cohere Model Vault, Google Cloud weitet die Unterstützung auf A4X-Max-Instanzen mit NVIDIA GB300 NVL72 aus.
- Die Unterstützung umfasst nun Grace Blackwell NVL72, HGX Rubin NVL8 und DGX Rubin NVL8.
- NVIDIA DSX OS soll alle Confidential-Computing-Modi für Cloud-Anbieter unterstützen, die AI Factories aufbauen.
Was Confidential Bare Metal leistet
Laut NVIDIA ist Confidential Bare Metal eine neue Bereitstellungsoption für NVIDIA Confidential Computing. Sie richtet sich an Entwickler von Frontier-Modellen, die dedizierte Infrastruktur eines anderen Betreibers nutzen wollen, ohne die Kontrolle über ihre Modelle und Daten abzugeben.
Dazu führt NVIDIA neue Sicherheitskontrollen auf Plattformebene ein. Sie schützen Daten bei der Übertragung, messen die Integrität der Plattform und setzen Zugriffsbeschränkungen auf Hardwareebene durch. Mit diesen Kontrollen können Modellentwickler Bare-Metal-Instanzen nutzen, um ihren maßgeschneiderten Software-Stack selbst zu besitzen und zu betreiben, einschließlich der Host- und Plattform-Infrastruktursoftware. Das gilt für NVIDIA-beschleunigte Recheninfrastruktur in Clouds von Drittanbietern, bei Neoclouds und in Unternehmensumgebungen.
NVIDIA Confidential Computing bietet nun eine einheitliche Sicherheitsarchitektur mit drei Bereitstellungsoptionen:
- Confidential Bare Metal für Bare-Metal-Infrastruktur
- Confidential Containers für Kubernetes-Umgebungen
- Confidential Virtual Machines für virtualisierte Umgebungen
Nach Angaben von NVIDIA können Organisationen so das passende Modell für ihre Vertrauensgrenzen und Betriebsanforderungen wählen.
Cohere und Google Cloud steigen ein
Cohere plant, Confidential Bare Metal in Cohere Model Vault zu integrieren. Dabei sollen die Trusted Execution Environments von NVIDIA Confidential Computing zum Einsatz kommen, um hardwaregestützte Sicherheit bis auf die GPU auszudehnen und Modelle sowie Daten während der Ausführung im Speicher und über Interconnects hinweg zu schützen. „Unternehmen vertrauen darauf, dass Cohere eine sichere und vertrauliche Plattform für Inferenz bereitstellt“, sagte Phil Blunsom, Chief Technology Officer bei Cohere.
Google Cloud weitet die Unterstützung für Confidential Bare Metal auf A4X-Max-Instanzen mit NVIDIA GB300 NVL72 aus. Laut NVIDIA verbinden diese nicht virtualisierte beschleunigte Rechenleistung mit kryptografischem Schutz für Trainingsdaten und geistiges Eigentum an Modellen. Andrés Lagar-Cavilla, Distinguished Engineer und Leiter für KI-Infrastruktursicherheit bei Google Cloud, sagte, das Angebot solle „KI-Labs hardwareisolierte, nicht virtualisierte Rechenumgebungen und durchgängigen kryptografischen Schutz bieten“.
Breitere Hardware- und Partnerunterstützung
NVIDIA Confidential Computing nutzt hardwaregestützte Isolation und kryptografische Attestierung, um Modelle und Daten während der Ausführung zu schützen. Die Unterstützung reicht nun bis zu NVIDIA Grace Blackwell NVL72 und bringt Confidential Computing damit auf Systeme im NVL72-Rack-Maßstab. Hinzu kommen x86-basierte Systeme vom Typ NVIDIA HGX Rubin NVL8 und NVIDIA DGX Rubin NVL8.
Als Unterstützer von NVIDIA-Confidential-Computing-Bereitstellungen nennt NVIDIA CoreWeave, Firmus, GMI Cloud, Google Cloud, IREN, Lambda, Microsoft Azure Infrastructure, Nebius, Nscale und Vultr. Die Systempartner Cisco, Dell Technologies, HPE, Lenovo, Supermicro und Bull werden die Funktionen mit NVIDIA-Certified Systems unterstützen.
Die Technologie soll zudem in NVIDIA DSX OS integriert werden, eine Referenzarchitektur für Cloud-Anbieter, die AI Factories aufbauen. NVIDIA zufolge wird DSX OS alle Confidential-Computing-Modi unterstützen und Anbietern damit eine Softwarebasis für vertrauliche Workloads bieten.
Was das für Modellentwickler bedeutet
NVIDIA stellt die Neuerung als Möglichkeit für Anbieter dar, hochwertige Workloads zu bedienen, die strengen Schutz für Modelle und Daten verlangen. Modellentwicklern biete das wachsende Ökosystem nach eigener Aussage mehr geografische, souveräne und operative Optionen, um Training und Inferenz weltweit zu skalieren.
Die Ankündigung ist Teil von NVIDIAs umfassenderem Vorstoß, Unternehmen beim sicheren Einsatz von Agenten zu unterstützen. Das Unternehmen beschreibt Confidential Computing als die Infrastrukturschicht, die Modelle und Daten schützt, auf die sich diese Agenten im laufenden Betrieb stützen. Zu Preisen oder Verfügbarkeitsterminen für Confidential Bare Metal macht die Quelle keine Angaben.
