Baseten wird Open-Model-Inferenzanbieter im OpenAI B2B Marketplace

Was die Partnerschaft bietet

Im Rahmen der Partnerschaft können Unternehmenskunden von OpenAI offene Modelle, die Baseten hostet, nutzen, ohne eine separate Ausgabenvereinbarung abzuschließen. Baseten zufolge lässt sich das bestehende OpenAI-Commitment auf diese Modelle anrechnen, sei es in Codex oder über die Responses API.

Baseten beschreibt das als Weg, über das vorhandene Commitment "noch mehr Intelligenz pro Dollar" zu liefern. Der native Zugang zu offenen Modellen in Codex steht allerdings noch nicht allen offen: Interessierte Kunden sollen sich auf eine Warteliste setzen lassen.

Das Unternehmen argumentiert, Organisationen könnten nun agentische Workflows über offene und geschlossene Modelle hinweg optimieren und jede Aufgabe an das passendste Modell weiterleiten. Als zwei der beliebtesten Optionen zur Skalierung von Code-Generierungs-Workflows nennt es Codex und die GPT-Modelle von OpenAI.

Warum Multi-Model laut Baseten wichtig ist

Baseten bezeichnet agentisches Coding als den ersten Multi-Model-Workflow im globalen Maßstab. Dem Unternehmen zufolge setzen führende KI-Anwender inzwischen eine Mischung aus Modellen an den Pareto-Grenzen von Intelligenz, Kosten, Latenz und Kapazität ein. Top-Engineering-Teams schickten Aufgaben über statische oder adaptive Router an das Modell, das für die jeweilige Aufgabe die beste Balance biete.

Baseten weist außerdem darauf hin, dass der Zyklus zwischen neuen offenen und geschlossenen Modellen auf wenige Wochen geschrumpft ist und kein einzelnes Modell lange das beste Werkzeug für jede Aufgabe bleibt. Unternehmen brauchen deshalb sofortigen Zugriff auf die neuesten Modelle, mit schneller und zuverlässiger Inferenz, die sich in ihre Harnesses, Gateways und weiteren Tools einfügt.

Die Infrastruktur dahinter

Baseten nennt mehrere Fähigkeiten, die auf Code-Generierung zugeschnitten sind. Diese sei auf der Inferenzebene anspruchsvoll, weil sie viele Gesprächsrunden, lange Prompts über große Repositories und riesige Kontextfenster umfasse.

• Performance: Optimierungsarbeit, die vom Tooling bis hinunter zur Engine-Ebene reicht.
• Kapazität und Zuverlässigkeit: Baseten betreibt nach eigenen Angaben mehr als 90 Cluster in über 20 Clouds, mit Active-Active-Deployments, sodass der Ausfall eines Anbieters oder einer Region den Traffic umleitet, statt die Arbeit zu stoppen. Das Unternehmen verweist auf Beziehungen zu mehr als 200 Compute-Anbietern.
• Modellzugang ab Tag null: Wichtige offene Modelle sind laut Unternehmen am Tag ihrer Veröffentlichung auf den Model APIs verfügbar, und der Wechsel zu einem neuen Modell erfordert nur eine einzeilige Code-Änderung.
• Entwickler- und Agent-Erfahrung: Blaxel, inzwischen Teil von Baseten, gibt jedem Agenten eine eigene Sandbox, in der er den von ihm geschriebenen Code ausführen kann.
• Enterprise Governance: Die Inferenz läuft auf Infrastruktur in den USA, mit Zero Data Retention (ZDR) für alle Prompts. Deployments lassen sich auf bestimmte Regionen festlegen, mit feingranularer AuthN und AuthZ sowie Nutzungsübersichten über beliebige Modelle, Nutzer oder Schlüssel.
• Unterstützung durch Forschung und Engineering: Forward-Deployed Engineers stimmen Deployments auf Latenzziele ab, und angewandte Forscher führen gemeinsam mit Kunden Post-Training durch. Baseten zufolge trainiert LangChain auf diese Weise mit Baseten Loops eigene Modelle für LangSmith Engine.

Was das für Unternehmenskunden bedeutet

Für Organisationen, die sich bereits an OpenAI gebunden haben, bedeutet die Änderung, dass offene Modelle im selben Beschaffungs- und Tooling-Pfad neben den GPT-Modellen stehen können. Baseten sagt, so könnten Teams in Coding-Workflows offene und geschlossene Modelle mischen und dabei auf ein einziges Commitment zurückgreifen.

Das Unternehmen fügt hinzu, es werde weiter auf Zugang zu offenen Frontier-Modellen ab Tag null, schnelle und zuverlässige Inferenz und garantierte Kapazität in der eigenen Cloud oder der des Kunden hinarbeiten. Kunden, die nativen Zugang zu offenen Modellen in Codex wünschen, können sich auf die Liste setzen lassen, alle anderen können einen Baseten-Engineer kontaktieren.