LangChain integriert ScaleDown-Modelle, um die Kosten langlaufender Agenten zu senken

Warum das Kontextmanagement zum Engpass wird

Laut LangChain läuft der Bau langlaufender Agenten im Kern auf die Frage hinaus, welche Informationen wann ins Kontextfenster gelangen. Dazu gehört, alte Verläufe zusammenzufassen, umfangreiche Tool-Ergebnisse zu verdichten und aus langen Eingaben die richtigen Daten zu extrahieren. Jede dieser Aufgaben erfordert eine Entscheidung, und solche Entscheidungen wurden bisher mit LLMs getroffen. Bei dem Volumen, das ein langlaufender Agent benötigt, ist das langsam und teuer.

Die Constrained Decoding Models (CDMs) von ScaleDown sollen diesen Schritt ersetzen. Ein universelles LLM schreibt beliebige Zeichenfolgen Token für Token. Ein CDM ist dagegen auf eine einzige Aufgabe trainiert und gibt nur Antworten aus, die diese Aufgabe zulässt, etwa ein Label aus einer Liste oder Textabschnitte der Eingabe. Dadurch können die Modelle deutlich kleiner, schneller und günstiger sein. ScaleDown gibt an, dass seine Modelle bei diesen eng gefassten Aufgaben 200-mal schneller und 467-mal günstiger sind als Frontier-Modelle.

Vier Modelle, drei Middlewares

ScaleDown bietet vier Modelle an, die jeweils für eine Aufgabe trainiert sind:

• Summarize verfasst eine kurze Zusammenfassung eines langen Textes.
• Compress reduziert einen Kontextblock auf die Teile, die für eine Frage relevant sind.
• Extract zieht beschriebene Felder aus dem Text, jeweils mit einem Konfidenzwert und der Position in der Quelle.
• Classify bewertet Text anhand vom Nutzer definierter Labels und liefert für jedes eine Wahrscheinlichkeit, optional mit einer Begründung in natürlicher Sprache.

Jedes Modell akzeptiert bis zu 1 Mio. Token Eingabe, sodass ein kompletter Vertrag oder eine Stunde Agentenverlauf ohne Aufteilung in einen Aufruf passt. Extract, Summarize und Classify sind zudem multimodal und verarbeiten Bilder und gescannte PDFs direkt. In ScaleDowns eigenen Benchmarks, gemessen am Durchschnitt von GPT-5.5, GPT-5.4 Mini und GPT-5.4 Nano auf öffentlichen Datensätzen, ist Summarize 41-mal günstiger und 2,7-mal schneller, Compress 138-mal günstiger und 1,8-mal schneller. Bei der Genauigkeit erzielen beide höhere Werte.

Die Integration enthält drei Middlewares für LangChain und Deep Agents. Das eigene Modell des Agenten plant und schreibt weiterhin den Code, während ScaleDown die Kontextarbeit drumherum erledigt.

So funktionieren die Middlewares

Zusammenfassung. ScaledownSummarizationMiddleware ersetzt die integrierte Summarization-Middleware in Deep Agents. Sie nutzt dieselben Optionen für Trigger und Keep. Sobald der Verlauf den Trigger überschreitet, ersetzt ScaleDown ältere Nachrichten durch eine einzige Zusammenfassung, die jüngsten Nachrichten bleiben unverändert. Standardmäßig verwendet die Zusammenfassung dieselben Abschnitte wie der Summary-Prompt von LangChain: Intent, Summary, Artifacts und Next Steps. Schlägt ein ScaleDown-Aufruf fehl, lässt die Middleware den Verlauf unangetastet, und der Agent läuft weiter. Sie funktioniert auch mit create_agent von LangChain.

Komprimierung von Tool-Ergebnissen. ScaledownToolCompressionMiddleware ergänzt Tools um einen optionalen Parameter compression_query. Braucht das Modell nur einen Teil eines Ergebnisses, füllt es die Abfrage aus, zum Beispiel "refund policy for EU orders". Die Middleware entfernt sie, bevor das Tool läuft, anschließend komprimiert ScaleDown die Ausgabe, bevor das Modell sie sieht. Die Tools selbst müssen nicht angepasst werden, daher funktioniert das mit jedem Tool, auch mit MCP-Tools. In einem von LangChain angeführten Trace wurde eine lange Dokumentationsseite um fast 90 % gekürzt. Das komprimierte Ergebnis beginnt mit einem Hinweis, damit das Modell das Tool ohne compression_query erneut aufrufen und die vollständige Ausgabe abrufen kann.

Extraktion. Mit ScaledownExtractionMiddleware beschreiben Entwickler Felder in natürlicher Sprache, etwa eine Bestellnummer, eine Fehlermeldung oder eine Kunden-E-Mail. Vor dem ersten Modellaufruf eines Durchlaufs schickt sie die Nachrichten des Nutzers an Extract und speichert die Felder im Agentenzustand unter scaledown_extraction, wo Tools sie auslesen können. Ein Feld kann auch aus einer Menge von Labels bestehen, die Classify beantwortet, zum Beispiel um ein Ticket nach Problemtyp weiterzuleiten. LangChain zufolge lässt sich so vermeiden, dass das Hauptmodell einen Fehlercode umschreibt oder eine E-Mail-Adresse falsch tippt.

Was das für Entwickler bedeutet

ScaleDown wird nun im LangSmith LLM Gateway unterstützt, sodass die Aufrufe nachverfolgt werden und auf das Ausgabenbudget und die Ratenlimits eines Teams angerechnet werden. LangChain vergleicht ScaleDown Classify außerdem mit dem Entscheidungsmodell Jev: Jev verarbeitet nur Text, bis zu 32K Token Zustand pro Frage, während Classify bis zu 1 Mio. Token aufnimmt, Bilder einschließt und jeder Entscheidung eine einsätzige Begründung beifügt. Laut LangChain erleichtert diese Begründung die Fehlersuche bei einem Agenten, der ein Ticket weiterleitet oder einen Durchlauf anhand eines Labels beendet.

Für Teams, die Agenten über lange Sitzungen betreiben, lautet das Versprechen: Ein Frontier-Modell bleibt für das Schlussfolgern zuständig, während wiederkehrende Kontextarbeiten an kleinere Spezialmodelle ausgelagert werden. Die Angaben zu Tempo und Kosten stammen von ScaleDown selbst aus dessen Benchmarks, die Ergebnisse in Produktions-Workloads können daher abweichen.