Vercel nimmt NVIDIAs Nemotron 3.5 Lightning kostenlos in das AI Gateway auf
Vercel stellt NVIDIAs Nemotron 3.5 Lightning in seinem AI Gateway kostenlos zur Verfügung, und zwar unter dem Modellnamen nvidia/nemotron-3.5-lightning-free. Laut Vercel wird das Open-Weight-Modell für Reasoning und Chat von NVIDIA betrieben und richtet sich an langlaufende Agenten, Sub-Agenten, Chatbots und RAG-Systeme.
- Vercel führt NVIDIAs Nemotron 3.5 Lightning kostenlos im AI Gateway unter dem Namen nvidia/nemotron-3.5-lightning-free.
- Das Open-Weight-Modell hat 30 Milliarden Parameter, davon 3 Milliarden aktiv pro Token, und nutzt eine hybride Architektur aus Mamba-2 und Mixture-of-Experts.
- Es bietet ein Kontextfenster von 1 Million Token sowie Tool Calling und Structured Outputs.
- Der Anbieter darf Prompts zur Modellverbesserung speichern.
- Das AI Gateway gibt Anbieterpreise ohne Aufschlag weiter und erhebt keine Plattformgebühr auf Inferenz, auch nicht bei BYOK.
Was Nemotron 3.5 Lightning bietet
Vercel beschreibt Nemotron 3.5 Lightning als Open-Weight-Modell für Reasoning und Chat. Als Einsatzgebiete nennt das Unternehmen langlaufende Agenten, Sub-Agenten, Chatbots und Systeme mit Retrieval-Augmented Generation (RAG).
Technisch verfügt das Modell über 30 Milliarden Parameter, von denen pro Token 3 Milliarden aktiv sind. Es setzt auf eine hybride Mixture-of-Experts-Architektur, bei der Mamba-2- und MoE-Schichten sich abwechseln und durch einige wenige Attention-Schichten ergänzt werden. Das Kontextfenster umfasst 1 Million Token, außerdem werden Tool Calling und Structured Outputs unterstützt.
Beim kostenlosen Angebot gibt es eine Einschränkung: Laut Vercel darf der Anbieter Prompts zur Verbesserung des Modells speichern. Teams, die mit sensiblen Daten arbeiten, sollten das berücksichtigen, bevor sie Anfragen senden.
So lässt sich das Modell aufrufen
Entwicklerinnen und Entwickler können Nemotron 3.5 Lightning auf mehreren Wegen nutzen. Vercel nennt das AI SDK, die Chat-Completions-, Responses- und Messages-APIs sowie Coding-Agenten, die mit dem AI Gateway verbunden sind. In allen Fällen lautet der zu verwendende Modellname nvidia/nemotron-3.5-lightning-free.
Das Beispiel von Vercel nutzt die Funktion streamText des AI SDK mit diesem Modellnamen und einem Prompt, der eine TypeScript-Funktion verlangt, die einen fehlgeschlagenen Fetch mit exponentiellem Backoff wiederholt.
Für Coding-Agenten wie Claude Code, Codex und Cursor empfiehlt Vercel, die neueste Vercel CLI zu installieren und npx vercel ai-gateway setup auszuführen. Anschließend lässt sich das Modell im Agenten auswählen. Weitere Details verweist Vercel in seinem Leitfaden zu Coding-Agenten.
Was das AI Gateway leistet
Das AI Gateway ist Vercels einheitliche API für den Aufruf von Modellen. Nach Angaben des Unternehmens erfasst es zudem Nutzung und Kosten und erlaubt es Teams, Retries, Failover und Performance-Optimierungen zu konfigurieren, um eine höhere Verfügbarkeit als beim einzelnen Anbieter zu erreichen. Zu den integrierten Funktionen zählen individuelle Reports, Budgets für API-Schlüssel und Routing-Regeln.
Zur Preisgestaltung erklärt Vercel, das AI Gateway gebe die Preise der Anbieter ohne Aufschlag weiter und erhebe keine Plattformgebühr auf Inferenz. Das gilt auch für Anfragen mit eigenem Schlüssel (Bring Your Own Key, BYOK). Die vollständige Liste der Sprachmodelle auf der Plattform ist auf der Website des AI Gateway einsehbar.
Was das für Entwickler bedeutet
Für Entwickler, die das AI Gateway bereits nutzen, kommt mit dem Eintrag eine kostenlose Option mit sehr großem Kontextfenster sowie Unterstützung für Tool Calling und Structured Outputs hinzu. Diese Kombination eignet sich für Experimente mit Agenten und RAG-Pipelines ohne separates Anbieter-Setup, da das Modell hinter derselben API liegt wie andere Modelle der Plattform.
Der Preis dafür ist der Hinweis zur Datenspeicherung. Da der Anbieter Prompts zur Verbesserung des Modells behalten darf, passt die kostenlose Variante nach den Angaben von Vercel eher zu Tests und unkritischen Workloads als zu vertraulichen Anwendungen.
