LangChain: Offene Modelle GLM-5 und MiniMax M2.7 halten bei Agentenaufgaben mit geschlossenen Konkurrenten mit
Offene Modelle wie GLM-5 und MiniMax M2.7 schneiden bei zentralen Agentenaufgaben wie Dateioperationen, Tool-Nutzung und Befolgen von Anweisungen inzwischen ähnlich ab wie geschlossene Spitzenmodelle, bei einem Bruchteil der Kosten und der Latenz. Das behauptet LangChain und stützt sich dabei auf erste Ergebnisse der Evaluierungen seines Deep-Agents-Frameworks.
- LangChain zufolge erzielen GLM-5 und MiniMax M2.7 in den Deep-Agents-Evals bei zentralen Agentenaufgaben ähnliche Werte wie geschlossene Spitzenmodelle.
- GLM-5 erreichte eine Korrektheit von 0,64 (94 von 138), Claude Opus 4.6 kam auf 0,68, Gemini 3.1 Pro Preview auf 0,65 und GPT-5.4 auf 0,61.
- LangChain schätzt, dass 10 Mio. Output-Token pro Tag mit Opus 4.6 rund 250 $ kosten, mit MiniMax M2.7 etwa 12 $.
- Laut zitierten OpenRouter-Daten liegt GLM-5 auf Baseten bei 0,65 s Latenz und 70 Token/s, Claude Opus 4.6 bei 2,56 s und 34 Token/s.
- Die Deep Agents CLI kann mitten in der Sitzung das Modell wechseln, etwa Spitzenmodell für die Planung und offenes Modell für die Ausführung.
Was die Evals zeigen
LangChain hat über mehrere Wochen offene Large Language Models (Open-Weight-Modelle) durch seine Deep-Agents-Evaluierungen geschickt. Laut dem Unternehmen erzielen GLM-5 (von z.ai) und MiniMax M2.7 bei Dateioperationen, Tool-Nutzung und dem Befolgen von Anweisungen jeweils ähnliche Werte wie geschlossene Spitzenmodelle. LangChain beschreibt das Tool Calling als zuverlässig und das Befolgen von Anweisungen als konsistent und sagt, damit würden Workflows im produktiven Praxiseinsatz realistischer.
Die Testsuite umfasst sieben Kategorien: Dateioperationen, Tool-Nutzung, Retrieval, Konversation, Gedächtnis, Zusammenfassung und Unit-Tests. LangChain weist vier Kennzahlen aus: Korrektheit, Lösungsrate, Schrittverhältnis und Tool-Call-Verhältnis. Das Unternehmen betont, es handle sich um frühe Ergebnisse, und man erweitere das Eval-Set.
Bei der Gesamtkorrektheit erreichte GLM-5 auf Baseten 0,64 (94 von 138 Tests bestanden), MiniMax M2.7 kam auf 0,57 (85 von 138). Bei den geschlossenen Modellen erzielte Claude Opus 4.6 0,68 (100 von 138), Gemini 3.1 Pro Preview 0,65 (96 von 138) und GPT-5.4 0,61 (91 von 138). GLM-5 landete bei dieser Kennzahl also zwischen Gemini 3.1 Pro Preview und GPT-5.4, während MiniMax M2.7 hinter der Gruppe der geschlossenen Modelle zurückblieb.
Die Konversation war über alle Modelle hinweg die schwächste Kategorie. GLM-5 kam auf 0,38 und MiniMax M2.7 auf 0,14, die geschlossenen Modelle reichten von 0,05 bei Claude Opus 4.6 bis 0,29 bei GPT-5.4. Bei den Dateioperationen lagen alle getesteten Modelle bei oder nahe 1.
Gefälle bei Kosten und Latenz
Kosten und Latenz sind laut LangChain die Hauptgründe, warum Teams offene Modelle in Betracht ziehen. Geschlossene Spitzenmodelle könnten bei Workloads mit hohem Durchsatz 8- bis 10-mal teurer sein und seien für interaktive Produkte oft zu langsam.
Die Preistabelle im Beitrag nennt folgende Preise pro eine Million Token:
- Claude Opus 4.6: 5,00 $ Input, 25,00 $ Output
- Claude Sonnet 4.6: 3,00 $ Input, 15,00 $ Output
- GPT-5.4: 2,50 $ Input, 15,00 $ Output
- GLM-5 (Baseten): 0,95 $ Input, 3,15 $ Output
- MiniMax M2.7 (OpenRouter): 0,30 $ Input, 1,20 $ Output
LangChain rechnet vor, dass eine Anwendung, die 10 Mio. Token pro Tag ausgibt, mit Opus 4.6 etwa 250 $ pro Tag kostet, mit MiniMax M2.7 dagegen rund 12 $ pro Tag. Das ergibt einen Unterschied von etwa 87.000 $ pro Jahr.
Bei der Geschwindigkeit verweist das Unternehmen auf Daten von OpenRouter: GLM-5 auf Baseten komme im Schnitt auf 0,65 s Latenz und 70 Token pro Sekunde, Claude Opus 4.6 dagegen auf 2,56 s und 34 Token pro Sekunde. LangChain merkt an, dass Anbieter wie Groq, Fireworks und Baseten Latenz und Durchsatz stärker optimieren, als es die meisten Teams selbst könnten.
Offene Modelle in Deep Agents nutzen
Laut LangChain genügt im Deep-Agents-SDK eine einzige Zeile, um auf ein offenes Modell umzusteigen. Für GLM-5 übergeben Entwickler den Modellnamen baseten:zai-org/GLM-5 an create_deep_agent, für MiniMax M2.7 verwenden sie openrouter:minimax/minimax-m2.7. Dasselbe Modell ist oft bei mehreren Anbietern verfügbar, GLM-5 zum Beispiel über Baseten, Fireworks oder Ollama für das Self-Hosting. Für diese Version getestet wurden die Anbieter Baseten, Fireworks, Groq, OpenRouter und Ollama (Cloud).
Das Framework passt sich an das jeweilige Modell an. Es schreibt Name, Anbieter, Kontextlimit und unterstützte Modalitäten des Modells in den System-Prompt und stellt die Schwellenwerte für Komprimierung, Auslagerung und Zusammenfassung auf das tatsächliche Kontextfenster des Modells ein. LangChain nennt als Beispiel, dass ein Modell mit 4K Kontext stärker verdichtet wird als Opus mit 1M.
Entwickler können die Evals auch lokal nachvollziehen. Die CI von LangChain lässt die Suite in Gruppen über 52 Modelle laufen, darunter eine offene Gruppe aus GLM-5, MiniMax M2.7 und nemotron-3-super. Ein pytest-Befehl kann dabei auf eine Modellgruppe oder ein einzelnes Modell zielen.
Spitzenmodelle und offene Modelle kombinieren
Die Deep Agents CLI, die LangChain als seinen Open-Source-Coding-Agenten und als Alternative zu Claude Code bezeichnet, unterstützt den Modellwechsel zur Laufzeit über eine neue ConfigurableModelMiddleware. Nutzer können mitten in der Sitzung mit dem Slash-Befehl /model das Modell wechseln. Laut LangChain sind damit Muster möglich, bei denen eine Aufgabe mit einem Spitzenmodell geplant und die Ausführung dann an ein günstigeres offenes Modell übergeben wird.
Für Teams, die Agenten entwickeln, lautet die Botschaft des Beitrags: Offene Modelle sind neben geschlossenen eine praktikable Option, besonders dort, wo Kosten und Antwortzeit zählen. Die Ergebnisse sind frühe Zwischenstände, und die schwächeren Konversationswerte sowie der Abstand zwischen MiniMax M2.7 und den geschlossenen Modellen zeigen, dass das Bild je nach Aufgabe und Modell variiert.
LangChain: Open Models have crossed a threshold
