Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

NVIDIA Nemotron 3.5 Super VL kommt in AWS SageMaker JumpStart

9. November 2026, 21:01Von der KI Nachrichten RedaktionQuelle: AWS
NVIDIA Nemotron 3.5 Super VL kommt in AWS SageMaker JumpStart
Bild: AWS

AWS stellt NVIDIA Nemotron 3.5 Super VL in Amazon SageMaker JumpStart bereit. Damit erhalten Nutzer Bereitstellungsoptionen für ein multimodales Modell, das Bilder, Videos und Text verarbeitet und Text erzeugt. Der Dienst bietet eine NVFP4-Variante für optimierte Inferenz sowie BF16-Referenzgewichte zur Anpassung.

Das Wichtigste in Kürze
  • AWS hat NVIDIA Nemotron 3.5 Super VL in SageMaker JumpStart aufgenommen.
  • Das Modell akzeptiert Bild-, Video- und Texteingaben und erzeugt Text.
  • NVFP4 ist für optimierte Inferenz vorgesehen, während BF16 Anpassungen unterstützt.
  • Das Modell unterstützt Kontextlängen von bis zu 1 Million Tokens.
  • Die Bereitstellung ist über SageMaker Studio und das SageMaker Python SDK möglich.

Ein Vision-Language-Modell mit 120 Milliarden Parametern

Nemotron 3.5 Super VL ist das Vision-Language-Modell der NVIDIA-Nemotron-3.5-Familie. Es kombiniert ein hybrides Mixture-of-Experts-Sprachmodell mit 120B Parametern, von denen pro Token 12B aktiv sind, mit einem C-RADIO-Bildencoder.

Das Modell unterstützt Kontextlängen von bis zu 1 Million Tokens. Sein Sprachmodell verfügt über 88 Schichten, die Mamba-2- und Mixture-of-Experts-Schichten mit acht Aufmerksamkeitsschichten kombinieren. Der Bildencoder verarbeitet Bilder und ausgewählte Videoframes, bevor er sie über einen Vision-Language-Connector in das Sprachmodell einspeist.

Die Denkfunktion lässt sich für jede Anfrage konfigurieren. Das Modell unterstützt außerdem Tool-Aufrufe und JSON-Schema-Ausgaben und enthält einen Multi-Token-Prediction-Kopf für spekulatives Decoding. AWS weist jedoch darauf hin, dass spekulatives Decoding in der Bereitstellungskonfiguration von JumpStart nicht aktiviert ist.

Zwei Varianten und multimodale Einsatzszenarien

JumpStart bietet zwei Versionen. NVFP4 wird mithilfe von quantisierungsbewusstem Distilling aus BF16 quantisiert und ist für eine optimierte Inferenz vorgesehen. Die Variante verwendet 4-Bit-Gewichte und -Aktivierungen auf Blackwell-GPUs, hat eine Checkpoint-Größe von etwa 75 GB und läuft standardmäßig auf der Instanz ml.g7.24xlarge. Die BF16-Version hat eine Checkpoint-Größe von etwa 249 GB und stellt Referenzgewichte mit voller Präzision für überwachte Feinabstimmung, Reinforcement Learning, Distillation, Domänenanpassung und benutzerdefinierte Quantisierung bereit.

Beide Varianten akzeptieren Bild-, Video- und Texteingaben und erzeugen Text. Sie unterstützen Englisch, Französisch, Deutsch, Italienisch, Japanisch, Spanisch und Chinesisch. NVIDIA hat Super VL für Dokumentenintelligenz, das Verständnis grafischer Benutzeroberflächen, die Beantwortung von Fragen zu Videos und multimodale agentische Anwendungen entwickelt.

Zu den möglichen Einsatzszenarien zählen optische Zeichenerkennung, die Analyse von Diagrammen und Tabellen, das Verständnis mehrseitiger Dokumente, die Bildschirmverankerung für Computer-Use-Agenten sowie die Analyse kurzer MP4-Clips. AWS zufolge akzeptiert die Bereitstellungskonfiguration von JumpStart ein Bild und ein Video pro Anfrage. Der Endpunkt stellt nur die Basisgewichte bereit und lädt keine LoRA-Adapter.

Leistung und Bereitstellungsoptionen

AWS hat das Modell mit einer Arbeitslast aus 250 Eingabetokens, 1.500 Ausgabetokens und fünf gleichzeitig laufenden Streaming-Anfragen gemessen. NVFP4 erreichte auf ml.g7.24xlarge einen durchschnittlichen Ausgabedurchsatz von 63.07 Tokens pro Sekunde und Anfrage sowie 64.01 Tokens pro Sekunde auf ml.g7.48xlarge. BF16 erreichte auf ml.p5en.48xlarge 140.85 Tokens pro Sekunde. Die durchschnittliche Zeit bis zum ersten Token betrug jeweils 0.45 Sekunden, 0.51 Sekunden und 0.53 Sekunden.

AWS weist darauf hin, dass die Messungen unterschiedliche GPU-Systeme und Konfigurationen vergleichen und daher keinen isolierten Präzisionsvergleich zwischen BF16 und NVFP4 darstellen. Bei einer Eingabe mit 10.000 Tokens und dem Profil „summarize“ betrug die Zeit bis zum ersten Token auf ml.g7.24xlarge 12.62 Sekunden.

Nutzer können das Modell über SageMaker Studio, das SageMaker Python SDK oder die Hugging-Face-Modellseite bereitstellen. NVFP4 wird auf G7-Instanzen mit NVIDIA RTX PRO 4500 Blackwell Server Edition GPUs unterstützt, während BF16 auf P5en-Instanzen mit NVIDIA-H200-GPUs läuft. Für die Bereitstellung sind ein AWS-Konto mit der Berechtigung zum Erstellen von Amazon-SageMaker-AI-Endpunkten, eine geeignete IAM-Rolle und ein Servicekontingent für den ausgewählten Instanztyp erforderlich.

Ähnliche Meldungen

AWS ergänzt im Oktober Modelle, Agenten-Schutz und Kostenkontrollen
Produkte und Tools11. November 2026, 23:26

AWS ergänzt im Oktober Modelle, Agenten-Schutz und Kostenkontrollen

AWS zufolge bieten die Veröffentlichungen im Oktober 2026 Entwicklern von KI-Anwendungen mehr Modellauswahl, bessere Kontrollen für Agenten im Produktivbetrieb und…

Moonshot AIs Kimi K3.1 Pro Highspeed kommt auf Amazon Bedrock
Modelle11. November 2026, 02:07

Moonshot AIs Kimi K3.1 Pro Highspeed kommt auf Amazon Bedrock

Moonshot AIs Kimi K3.1 Pro Highspeed ist ab sofort auf Amazon Bedrock verfügbar. Entwickler erhalten damit Zugriff auf ein nachtrainiertes Kimi-K3-Modell mit einem…

NVIDIA Nemotron 3.5 Super VL ist jetzt auf Amazon EKS und SageMaker HyperPod EKS verfügbar
Produkte und Tools29. Oktober 2026, 17:11

NVIDIA Nemotron 3.5 Super VL ist jetzt auf Amazon EKS und SageMaker HyperPod EKS verfügbar

AWS hat eine Anleitung veröffentlicht, wie sich NVIDIA Nemotron 3.5 Super VL, ein offenes multimodales Modell mit 120 Milliarden Parametern, auf Amazon EKS, EKS Auto…