NVIDIA Nemotron 3.5 Super VL kommt in AWS SageMaker JumpStart

AWS stellt NVIDIA Nemotron 3.5 Super VL in Amazon SageMaker JumpStart bereit. Damit erhalten Nutzer Bereitstellungsoptionen für ein multimodales Modell, das Bilder, Videos und Text verarbeitet und Text erzeugt. Der Dienst bietet eine NVFP4-Variante für optimierte Inferenz sowie BF16-Referenzgewichte zur Anpassung.
- AWS hat NVIDIA Nemotron 3.5 Super VL in SageMaker JumpStart aufgenommen.
- Das Modell akzeptiert Bild-, Video- und Texteingaben und erzeugt Text.
- NVFP4 ist für optimierte Inferenz vorgesehen, während BF16 Anpassungen unterstützt.
- Das Modell unterstützt Kontextlängen von bis zu 1 Million Tokens.
- Die Bereitstellung ist über SageMaker Studio und das SageMaker Python SDK möglich.
Ein Vision-Language-Modell mit 120 Milliarden Parametern
Nemotron 3.5 Super VL ist das Vision-Language-Modell der NVIDIA-Nemotron-3.5-Familie. Es kombiniert ein hybrides Mixture-of-Experts-Sprachmodell mit 120B Parametern, von denen pro Token 12B aktiv sind, mit einem C-RADIO-Bildencoder.
Das Modell unterstützt Kontextlängen von bis zu 1 Million Tokens. Sein Sprachmodell verfügt über 88 Schichten, die Mamba-2- und Mixture-of-Experts-Schichten mit acht Aufmerksamkeitsschichten kombinieren. Der Bildencoder verarbeitet Bilder und ausgewählte Videoframes, bevor er sie über einen Vision-Language-Connector in das Sprachmodell einspeist.
Die Denkfunktion lässt sich für jede Anfrage konfigurieren. Das Modell unterstützt außerdem Tool-Aufrufe und JSON-Schema-Ausgaben und enthält einen Multi-Token-Prediction-Kopf für spekulatives Decoding. AWS weist jedoch darauf hin, dass spekulatives Decoding in der Bereitstellungskonfiguration von JumpStart nicht aktiviert ist.
Zwei Varianten und multimodale Einsatzszenarien
JumpStart bietet zwei Versionen. NVFP4 wird mithilfe von quantisierungsbewusstem Distilling aus BF16 quantisiert und ist für eine optimierte Inferenz vorgesehen. Die Variante verwendet 4-Bit-Gewichte und -Aktivierungen auf Blackwell-GPUs, hat eine Checkpoint-Größe von etwa 75 GB und läuft standardmäßig auf der Instanz ml.g7.24xlarge. Die BF16-Version hat eine Checkpoint-Größe von etwa 249 GB und stellt Referenzgewichte mit voller Präzision für überwachte Feinabstimmung, Reinforcement Learning, Distillation, Domänenanpassung und benutzerdefinierte Quantisierung bereit.
Beide Varianten akzeptieren Bild-, Video- und Texteingaben und erzeugen Text. Sie unterstützen Englisch, Französisch, Deutsch, Italienisch, Japanisch, Spanisch und Chinesisch. NVIDIA hat Super VL für Dokumentenintelligenz, das Verständnis grafischer Benutzeroberflächen, die Beantwortung von Fragen zu Videos und multimodale agentische Anwendungen entwickelt.
Zu den möglichen Einsatzszenarien zählen optische Zeichenerkennung, die Analyse von Diagrammen und Tabellen, das Verständnis mehrseitiger Dokumente, die Bildschirmverankerung für Computer-Use-Agenten sowie die Analyse kurzer MP4-Clips. AWS zufolge akzeptiert die Bereitstellungskonfiguration von JumpStart ein Bild und ein Video pro Anfrage. Der Endpunkt stellt nur die Basisgewichte bereit und lädt keine LoRA-Adapter.
Leistung und Bereitstellungsoptionen
AWS hat das Modell mit einer Arbeitslast aus 250 Eingabetokens, 1.500 Ausgabetokens und fünf gleichzeitig laufenden Streaming-Anfragen gemessen. NVFP4 erreichte auf ml.g7.24xlarge einen durchschnittlichen Ausgabedurchsatz von 63.07 Tokens pro Sekunde und Anfrage sowie 64.01 Tokens pro Sekunde auf ml.g7.48xlarge. BF16 erreichte auf ml.p5en.48xlarge 140.85 Tokens pro Sekunde. Die durchschnittliche Zeit bis zum ersten Token betrug jeweils 0.45 Sekunden, 0.51 Sekunden und 0.53 Sekunden.
AWS weist darauf hin, dass die Messungen unterschiedliche GPU-Systeme und Konfigurationen vergleichen und daher keinen isolierten Präzisionsvergleich zwischen BF16 und NVFP4 darstellen. Bei einer Eingabe mit 10.000 Tokens und dem Profil „summarize“ betrug die Zeit bis zum ersten Token auf ml.g7.24xlarge 12.62 Sekunden.
Nutzer können das Modell über SageMaker Studio, das SageMaker Python SDK oder die Hugging-Face-Modellseite bereitstellen. NVFP4 wird auf G7-Instanzen mit NVIDIA RTX PRO 4500 Blackwell Server Edition GPUs unterstützt, während BF16 auf P5en-Instanzen mit NVIDIA-H200-GPUs läuft. Für die Bereitstellung sind ein AWS-Konto mit der Berechtigung zum Erstellen von Amazon-SageMaker-AI-Endpunkten, eine geeignete IAM-Rolle und ein Servicekontingent für den ausgewählten Instanztyp erforderlich.


