Baseten will schnellste GLM-5-Geschwindigkeit im Benchmark von Artificial Analysis erreicht haben

Was Baseten berichtet

Baseten, ein Anbieter für Inferenz, erklärt, Artificial Analysis habe seine Model API für GLM-5 unabhängig getestet und sowohl bei der Time to First Token (TTFT) als auch bei den Tokens pro Sekunde (TPS) Spitzenwerte ermittelt. Der vom Unternehmen veröffentlichte Screenshot des Ergebnisses zeigt über 200 TPS und etwa 200 ms TTFT. Baseten bezeichnet das als den schnellsten Wert im Leaderboard.

GLM-5 ist das neueste Open-Weight-Flaggschiff von Z.ai. Laut Baseten hat das Modell insgesamt 744 Mrd. Parameter, von denen 40 Mrd. pro Forward Pass aktiv sind, wurde mit 28,5 Billionen Tokens trainiert und steht unter der MIT-Lizenz. Baseten nennt es das leistungsfähigste Open-Source-Modell der Welt bei Coding- und Agenten-Benchmarks und verweist auf 77,8 bei SWE-bench Verified, 92,7 % bei AIME 2026 und Platz eins unter den offenen Modellen bei Vending Bench 2.

Da GLM-5 ein Reasoning-Modell ist, erzeugt es vor der endgültigen Antwort eine Denksequenz. Baseten argumentiert, dass deshalb die Tokens pro Sekunde die wichtigste Kennzahl für den Produktiveinsatz seien, denn die Denksequenz sei oft länger als die eigentliche Antwort.

Die drei Optimierungen hinter dem Tempo

Baseten erklärt, man habe seinen Inference Stack, zu dem unter anderem KV-aware Routing gehört, mit drei modellspezifischen Anpassungen kombiniert.

• MoE-Kernels: GLM-5 teilt seine Mixture-of-Experts-Abstammung mit DeepSeek V3, hat aber mehr Layer und eine kleinere Hidden Size. Baseten zufolge laufen Standard-MoE-Kernels, die auf die Dimensionen von DeepSeek V3 abgestimmt wurden, bei GLM-5 nicht im optimalen Bereich. Das Unternehmen hat deshalb seine Dispatch-Kernels an die tatsächliche Form des Modells angepasst.
• DeepSeek Sparse Attention (DSA): GLM-5 ist das erste GLM-Modell mit DSA. Laut Baseten dünnt dieses Verfahren die Attention über die Sequenz aus und verkleinert bei langem Kontext den KV-Cache, während das volle Kontextfenster von 200K erhalten bleibt. Eine naive Implementierung falle auf Dense Attention zurück und verliere den Großteil des Speichervorteils. Baseten hat daher Kernels entwickelt, die das Sparse-Muster direkt nutzen. Das Unternehmen sagt, dies ermögliche größere Batch-Größen und einen besseren Durchsatz unter Last.
• MTP Speculative Decoding: GLM-5 wird mit nativen Multi-Token-Prediction-Heads ausgeliefert, sodass kein separates Draft-Modell trainiert oder betrieben werden muss. Baseten zufolge hält seine Speculative-Decoding-Engine die Koordination auf der Host-Seite schlank und integriert die Draft-Planung in die Inferenzschleife. So erreiche sie hohe Akzeptanzraten bei Codegenerierung, langfristigem Reasoning und agentischer Tool-Nutzung.

Warum Geschwindigkeit bei Reasoning-Modellen zählt

Speculative Decoding funktioniert, indem kostengünstig Kandidaten-Tokens erzeugt und parallel vom Zielmodell überprüft werden. Akzeptiert das Zielmodell die Draft-Tokens, entstehen mehrere Tokens zum Preis eines einzigen Forward Pass. Baseten sagt, der Ansatz steigere die Tokens pro Sekunde ohne Qualitätseinbußen, allerdings nur, wenn der Aufwand für die Verwaltung der Draft-Tokens gering bleibt.

Bei einem Reasoning-Modell, das vor der Antwort Zehntausende Denk-Tokens erzeugen kann, wirkt sich ein höherer TPS-Wert laut Baseten direkt und linear auf eine schnellere Gesamtantwortzeit aus.

Was das für Entwickler bedeutet

Baseten richtet das Ergebnis an Teams, die autonome Coding-Agenten, mehrstufige Tool-Use-Pipelines und andere Anwendungen bauen, die Intelligenz auf Frontier-Niveau bei Produktionsgeschwindigkeit benötigen. Das Unternehmen erklärt, GLM-5 komme mit 77,8 bei SWE-bench Verified bei Software Engineering an Claude Opus 4.5 heran. Mit über 200 Tokens pro Sekunde auf Baseten liefen GLM-5-basierte Anwendungen deutlich schneller als Claude und blieben dabei vollständig Open-Weight unter MIT.

Diese Leistungs- und Vergleichsangaben stammen von Baseten. Der Benchmark von Artificial Analysis wird als unabhängig beschrieben, doch die Quelle liefert über die Screenshot-Zusammenfassung des Unternehmens hinaus keine zugrunde liegenden Benchmark-Daten und macht auch keine Angaben zu Preisen oder Verfügbarkeit.