Baseten: Kernel-Tuning bringt DeepSeek V4.1 Flash auf 991 Token/s
Baseten zufolge hat das Unternehmen mehr als 80 Kernel und Engpässe in DeepSeek V4.1 Flash 1017 optimiert. Die daraus entstandene Fast-Variante erreichte bei Artificial Analysis 991 Ausgabetoken pro Sekunde. Zum Senken des Inferenz-Overheads setzte das Unternehmen auf Kernel-Fusion, Programmatic Dependent Launch und die Minimierung von Host-Schleifen.
- Baseten optimierte mehr als 80 Kernel und Engpässe in DeepSeek V4.1 Flash 1017.
- Die Fast-Variante erreichte bei Artificial Analysis 991 Ausgabetoken pro Sekunde.
- Kernel-Fusion hielt Zwischenwerte auf dem Chip und verkürzte die Decode-Zeit eines Router-Kernels um 2,7 ms.
- Laut Baseten erhöhte die Arbeit am mHC-Kernel die Geschwindigkeit bei einer Batch-Größe von 1 um 30 %.
- Das Unternehmen plant Open-Source-Arbeiten zu den drei Optimierungstechniken.
Eine schnellere Version eines kostenorientierten Modells
Basetens Arbeit zielt auf DeepSeek V4.1 Flash 1017, das Unternehmen als kostengünstiges Open-Source-Modell mit hoher Qualität beschreibt. Bei nativer Präzision handelt es sich um ein Mixture-of-Experts-System mit 552B Parametern. Während des Prefill sind 8B Parameter aktiv, beim Decode 16B.
Baseten zufolge erreicht DeepSeek V4.1 Flash 1017 im Artificial Analysis V5.0 Index einen Wert von 32, genauso wie GLM-5.3. Das Unternehmen sagt, dass das Modell diesen Wert zu ungefähr einem Drittel der Kosten und mit der vierfachen Geschwindigkeit des größeren Modells erzielt. Zudem sei das Modell auf der Pareto-Frontier für Preis und Intelligenz positioniert.
Baseten sieht Flash-Modelle als geeignet für Ausführungs- und Implementierungs-Subagenten, die tokenintensive Aufgaben über mehrere Dialogrunden bearbeiten. Diese Aufgaben können laut Baseten von Hauptagenten delegiert werden, die auf leistungsfähigeren und teureren Modellen laufen.
Wie Kernel-Fusion den Inferenzaufwand senkt
Basetens erste Optimierung ist die Kernel-Fusion. In CUDA ist ein Kernel eine benutzerdefinierte Funktion, die auf NVIDIA-GPUs ausgeführt wird. Wenn separate Kernel Zwischenergebnisse untereinander übergeben, können diese Ergebnisse einen unnötigen Umweg durch den Videospeicher nehmen. Das erhöht den Aufwand für Datenbewegungen und Starts.
Ein fusionierter Kernel kombiniert mehrere Operationen, sodass Zwischenwerte im On-Chip-Speicher bleiben. Baseten nennt QK-Norm als einfaches Beispiel: Statt Q und K separat zu normalisieren und anschließend RoPE anzuwenden, liest die fusionierte Version die Eingaben einmal ein, führt die Operationen aus und schreibt die fertigen Tensoren.
Das Unternehmen arbeitete außerdem an fusionierten Kerneln für das Mixture-of-Experts-Routing und für die mHC- oder Manifold-Constrained-Hyper-Connection-Schicht. Baseten zufolge verkürzte der verbesserte fusionierte Router-Kernel die Decode-Zeit um 2,7 ms. Die Arbeit am Open-Source-mHC-Megakernel in DeepInfer erhöhte die Geschwindigkeit bei einer Batch-Größe von 1 um 30 %.
Lücken zwischen abhängigen Kerneln verringern
Kernel-Fusion verringert die Zahl der Starts sowie den Aufwand für Eingaben und Ausgaben. Beim Decoding müssen jedoch weiterhin Hunderte Kernel nacheinander ausgeführt werden. Baseten nutzte Programmatic Dependent Launch, kurz PDL, um die Leerlaufzeit zwischen abhängigen Operationen zu reduzieren.
Ohne PDL wartet ein späterer Kernel, bis ein früherer Kernel fertig ist und seine Ergebnisse in den Speicher geschrieben hat. Mit PDL signalisiert der frühere Kernel, dass der nächste gestartet werden kann. Der nächste Kernel kann dann unabhängige Arbeit ausführen, bevor er auf die von ihm benötigten Daten wartet.
Baseten zufolge kann PDL auf Blackwell und Vera Rubin die Überlappung zwischen Kerneln erhöhen. Auf B200-Systemen wird die Abhängigkeit auf Grid-Ebene verarbeitet. Vera Rubin unterstützt eine feinere Abhängigkeit, sodass ein Consumer-Thread-Block mit abhängigen Arbeiten beginnen kann, sobald die benötigten Daten eintreffen.
Dem Beitrag zufolge nutzte Baseten ein internes Test-Framework, um mehr als 80 Kernel und Engpässe zu optimieren. Das Unternehmen plant, Open-Source-Arbeiten zu Kernel-Fusion, PDL und der Minimierung von Host-Schleifen zu veröffentlichen.
