NVIDIA bringt Koreas führende offene Modelle mit Dynamo in die Produktion
NVIDIA veröffentlicht für Dynamo optimierte Bereitstellungsrezepte für vier der führenden offenen Modelle Koreas, darunter Modelle von SK Telecom, LG AI Research, Upstage und Motif Technologies. Die Rezepte sollen Entwickler dabei unterstützen, die Modelle über mehrere GPUs hinweg bereitzustellen und schneller in den Produktivbetrieb zu überführen.
- NVIDIA hat Dynamo-Rezepte für vier koreanische offene Modelle veröffentlicht.
- Zu den unterstützten Modellen gehören A.X K2, K-EXAONE 2.0, Solar Open 2 und Motif-3.
- Dynamo koordiniert die Weiterleitung und Kommunikation in Bereitstellungen mit mehreren GPUs.
- Die Rezepte sind für NVIDIA-B200-GPUs optimiert.
- NVIDIA verspricht direkt ab Werk bis zu die doppelte Leistung.
Vier koreanische Modelle unterstützt
Die Rezepte unterstützen A.X K2 von SK Telecom, K-EXAONE 2.0 von LG AI Research, Solar Open 2 von Upstage und Motif-3 von Motif Technologies. NVIDIA bezeichnet sie als Koreas führende offene Modelle und erklärt, dass die Rezepte dabei helfen können, daraus breit zugängliche KI-für-alle-Dienste zu machen.
Die Veröffentlichung bietet auf jedes Modell zugeschnittene Hinweise zur Bereitstellung, sodass Entwickler die erforderliche Konfiguration für mehrere GPUs nicht selbst erarbeiten müssen. Laut NVIDIA nehmen die Rezepte der Bereitstellung die Ungewissheit und helfen Entwicklern, Koreas offene Modelle schneller in die Produktion zu bringen.
Warum die Bereitstellung auf mehreren GPUs schwierig ist
Wenn Modelle die Kapazität einer einzelnen GPU überschreiten, müssen sie auf mehrere GPUs aufgeteilt werden. Dafür ist eine sorgfältige Abstimmung der Anfragenweiterleitung und der Kommunikation zwischen den GPUs erforderlich, um die Leistung aufrechtzuerhalten.
NVIDIA Dynamo ist ein quelloffenes Framework für verteiltes Inference-Serving, das für die Bereitstellung von Modellen in Umgebungen mit mehreren Knoten und im Rechenzentrumsmaßstab entwickelt wurde. Nach Angaben von NVIDIA übernimmt Dynamo in diesen Umgebungen die erforderliche Weiterleitung und Kommunikation, um die Inference-Leistung zu maximieren.
Das Framework zielt auf die Serving-Phase ab, in der bereitgestellte Modelle Anfragen von Nutzern oder Anwendungen verarbeiten. Seine Aufgabe besteht darin, zu koordinieren, wie diese Anfragen durch eine verteilte Modellbereitstellung geleitet werden. Damit adressiert es eine technische Herausforderung, die an Bedeutung gewinnt, wenn Modelle die Kapazität einer einzelnen GPU überschreiten.
Rezepte für NVIDIA-B200-GPUs optimiert
NVIDIA zufolge sind die neuen Rezepte für NVIDIA-B200-GPUs optimiert und liefern direkt ab Werk bis zu die doppelte Leistung. Das Unternehmen nennt in der Ankündigung keine zusätzlichen Leistungsmessungen oder Einzelheiten zu den Bedingungen, die dieser Angabe zugrunde liegen.
Da die Rezepte das Dynamo-Framework mit Bereitstellungsanweisungen für bestimmte offene Modelle kombinieren, können Entwickler sie als Ausgangspunkt für das Serving dieser Modelle in Umgebungen mit mehreren Knoten verwenden. NVIDIA will nach eigenen Angaben den Weg von einem offenen Modell zu einem Produktivdienst verkürzen.
Was die Veröffentlichung für Entwickler bedeutet
Die Veröffentlichung verbindet vier koreanische offene Modelle mit einem quelloffenen Framework für verteiltes Inference-Serving. Für Entwickler, die mit diesen Modellen arbeiten, können die Rezepte laut NVIDIA die Unsicherheit bei der Bereitstellung verringern, den Betrieb auf mehreren GPUs unterstützen und die Bereitstellung in der Produktion beschleunigen.
Für Koreas KI-Ökosystem stellt die Ankündigung offene Modelle lokaler Unternehmen als Kandidaten für Dienste im Rechenzentrumsmaßstab dar. Die Quelle beschreibt das Ergebnis als Möglichkeit, diese Modelle über KI-für-alle-Dienste breiter zugänglich zu machen. Die genannte Leistungssteigerung gilt dabei für Bereitstellungen, die für NVIDIA-B200-GPUs optimiert sind.
