Modal startet Dojo, eine Bibliothek für das Training von LLMs im Produktivbetrieb

21. Oktober 2026Quelle: Modal

Modal hat mit Modal Dojo eine Bibliothek veröffentlicht, die Teams Bausteine, abgestimmte Standardeinstellungen und Observability für das Training von LLMs bietet, auch per Reinforcement Learning. Laut Unternehmen ist sie ab sofort verfügbar und soll es Teams mit einem produktiven Agent-Harness ermöglichen, schnell mit dem Training auf eigenen Daten zu beginnen.

Das Wichtigste in Kürze

Modal hat Modal Dojo veröffentlicht, eine Bibliothek für das LLM-Training im Produktivbetrieb, ab sofort verfügbar.
Sie baut auf den Open-Source-Frameworks Miles und Slime auf und enthält automatisch optimierte Rezepte für unterstützte Modelle.
Ein integriertes Dashboard zeigt Loss- und Reward-Kurven, Rollout-Trajektorien, Profiling auf Teilschrittebene und Container-Logs.
Über die CLI und Skills können Coding-Agenten Läufe prüfen und Baselines aufsetzen.
Axiom Bio und Afterquery werden als erste Nutzer genannt.

Was Modal Dojo bietet

Modal zufolge ist Reinforcement Learning selbst bei gelöster Infrastruktur schwierig. Teams benötigen weiterhin geeignete Basismodelle, hochwertige Umgebungen, klare und robuste Reward-Funktionen sowie Trainingsrezepte, die funktionieren. Ein Team, das einen Agent-Harness im Produktivbetrieb hat und daraus Evals und Agent-Traces sammelt, sei bereits "zu 80 % am Ziel", argumentiert Modal. Es fehle aus Sicht des Unternehmens ein einfacher Weg, mit dem Training auf diesen Daten zu beginnen.

Diese Lücke soll Dojo schließen. Den vorgesehenen Workflow beschreibt Modal als einen einzigen Prompt: Modal Dojo nutzen, um ein ausgewähltes Modell auf einem proprietären Datensatz zu trainieren und damit einen bestimmten Agenten zu ersetzen.

Die Bibliothek baut auf den Open-Source-Frameworks Miles und Slime auf. Modal gibt an, selbst einige Pull Requests gepatcht und upstream eingereicht zu haben. Das Verkaufsargument des Unternehmens: Wer den gesamten Stack bis hinunter zum Quellcode besitzt, kann Rezepte abstimmen, komplexe Umgebungen bauen, die zugrunde liegenden Frameworks patchen und sogar das Observability-Dashboard umgestalten.

Modell, Daten und Rezept

Modals Beispiel zeigt einen Trainingslauf in weniger als 100 Zeilen Code. Der Nutzer definiert ein Modell, eine Reward-Funktion, einen Datensatz und ein Rezept und startet den Lauf anschließend über ein Config-Objekt. Im Beispiel wird ein Qwen-Modell auf einem GSM8K-Datensatz von Hugging Face trainiert, mit einer eigenen Reward-Funktion, die die numerische Antwort prüft.

Der Workflow besteht aus drei Teilen:

Modell: Laut Modal wurde die Bibliothek mit Modellen von einer halben Milliarde bis zu mehreren Billionen Parametern validiert, eigene Modelle lassen sich einbinden. Teams führen Evals durch, um die passende Wahl zu finden.
Daten: Nutzer können einen Datensatz von Hugging Face laden, eine Harbor-Umgebung einlesen oder eine aus dem eigenen Harness und den eigenen Evals aufbauen. Aus Produktions-Traces lassen sich Aufgaben für die Umgebung generieren sowie Trainings- und Test-Splits bilden.
Rezept: Das Rezept legt fest, wie das Training abläuft, mit Parametern für Hardware, Parallelisierung, gesamte Rollout-Größe, Umgebung und mehr. Modal stellt für alle unterstützten Modelle automatisch optimierte Rezepte bereit. Sie für einen konkreten Anwendungsfall zu erweitern, erfordert laut Unternehmen nur die Änderung weniger Parameter.

Observability und Agentenunterstützung

Dojo wird mit einem Observability-Dashboard ausgeliefert, das auf einem von Modal entwickelten Metric Collector basiert. Es soll helfen, Reward Hacking zu erkennen, stockende Läufe zu debuggen und viele parallele Läufe im Blick zu behalten. Das Dashboard zeigt Loss- und Reward-Kurven, vom Framework ausgegebene Metriken, die Trajektorie des Agenten für jeden Rollout während des Trainings, Profiling bis auf die Ebene einzelner Teilschritte sowie Container-Logs.

Modal hat die Bibliothek zudem so gestaltet, dass sie sich von Coding-Agenten nutzen lässt. Über die CLI können Agenten Status, Metadaten, Logs und Agent-Traces eines Laufs abrufen. Das Unternehmen gibt an, Skills entwickelt zu haben, die Agenten auf vorhersehbare Weise anleiten, sodass ein Agent für ein RL-Problem eine Baseline "in einem Durchgang" erstellen kann. Für anspruchsvollere Setups lädt Modal Nutzer ein, Kontakt aufzunehmen.

Erste Kunden und Einordnung

Modal nennt zwei Kunden. Axiom Bio trainiert große offene Modelle, um Moleküle anhand von Massenspektrometriedaten zu identifizieren. Nishkrit Desai, Founding Engineer bei Axiom Bio, sagte, das Team habe auf Läufe mit DeepSeek V4.1 Flash bei 64k Kontext auf 64 B300 hochskaliert und die Leistung innerhalb weniger Tage über die Standardrezepte hinaus gesteigert.

Afterquery, das Expertendaten aus verschiedenen Fachgebieten kuratiert, nutzt Dojo, um Modelle wie Kimi und DeepSeek mit 256k Kontextlänge zu trainieren. CEO Spencer Mateega erklärte, Dojo-Rezepte ermöglichten Autoresearch, sodass das Forschungsteam mehr Zeit für den Entwurf von Experimenten habe.

Modal reiht Dojo in seine früheren Arbeiten zur LLM-Inferenz ein: Endpoints, Endpoint Candidates zum Testen alternativer Deployments und Speculative Decoding für Modelle mit Billionen Parametern. Für Teams, die bereits Agenten im Produktivbetrieb einsetzen, bietet die Veröffentlichung einen Weg von gesammelten Traces und Evals zum Training offener Modelle auf eigenen Daten, auf einer Infrastruktur, auf der sich der zugrunde liegende Code weiterhin anpassen lässt. Angaben zu Preisen macht die Quelle nicht.