EAGLE-4 beschleunigt die Prompt-Verbesserung für Bild- und Videomodelle

20. Oktober 2026, 17:11Quelle: fal.ai

fal hat gemeinsam mit Fireworks eine technische Analyse von EAGLE-4 veröffentlicht, einem Verfahren für Speculative Decoding, dazu einen öffentlichen Benchmark für kreative Aufgaben. In den beschriebenen Tests steigerte die baumbasierte Verifikation die Akzeptanzlänge um bis zu 26,1 % im Vergleich zu einer einfachen Kette.

Das Wichtigste in Kürze

fal und Fireworks haben eine technische Analyse von EAGLE-4 und den Datensatz Prompt Enhancement SpecBench mit 400 Beispielen veröffentlicht.
Das veröffentlichte EAGLE-4-Modell für Qwen 3.8 27B ergänzt Sliding-Window-Attention und einen Low-Rank-Candidate-Head.
Die Baumverifikation steigerte die Akzeptanzlänge bei Fireworks um 9,6 % und bei reinen Text-Prompts von fal um 12,4 % in den gezeigten Konfigurationen.
Bei einem Verifikationsbudget von 16 Token erreichten die Gewinne gegenüber einer Kette 21,1 % und 26,1 %.
Die Tests liefen auf NVIDIA-B300-GPUs mit TP=4.

Warum die Prompt-Verbesserung schnelles Decoding braucht

Große Sprachmodelle erzeugen Text Token für Token. Bei kleinen Batch-Größen bleibt dadurch Rechenleistung der GPU ungenutzt, weil die Operationen durch die Speicherbandbreite begrenzt sind. Speculative Decoding setzt hier an: Ein leichtgewichtiges Modell entwirft mehrere Token, die das Zielmodell anschließend gemeinsam überprüft. Laut der Quelle bleibt die Ausgabeverteilung des Zielmodells bei geeignetem Verifikationsverfahren erhalten.

fal hält die Methode für die Bild- und Videogenerierung für wichtig. Viele solcher Systeme schicken den Prompt der Nutzer zunächst durch einen Schritt, der Prompt Enhancement oder Prompt Expansion heißt. Er macht aus einer kurzen Anfrage eine detailliertere Szenenbeschreibung und passt sie an das vom Zielmodell erwartete Format an. Werden generative Modelle schneller, kann dieser Schritt einen größeren Anteil der Gesamtlatenz ausmachen. fal weist darauf hin, dass einige Videomodelle Video in Echtzeit erzeugen können, eine nicht optimierte Expansionsstufe aber länger dauern würde als die Generierung selbst.

Um diesen Anwendungsfall zu messen, veröffentlichen die Autoren den Prompt Enhancement SpecBench. Er enthält 400 Beispiele aus 18 verschiedenen Datensätzen aus den Bereichen Text-zu-Video, Bild-zu-Video, Text-zu-Bild und Bild-zu-Bild, mit jeweils 100 Beispielen pro Kategorie.

So funktioniert EAGLE-4

EAGLE-4 baut auf EAGLE-3 auf. Ein leichtgewichtiger Drafter kombiniert die Hidden States des Zielmodells mit Token-Embeddings, um mögliche Fortsetzungen vorherzusagen. Das veröffentlichte Modell, gebaut für Qwen 3.8 27B, ändert den Entwurfspfad in zwei Punkten:

Sliding-Window-Attention begrenzt den Kontext, den die Attention-Schicht des Drafters nutzt.
Ein Low-Rank-Candidate-Head bewertet das Vokabular zunächst in einer kleineren Darstellung und berechnet die vollständigen Logits nur für die ausgewählten Kandidaten.

Diese Änderungen zielen jeweils auf die Kosten der Attention und der Vorhersage des nächsten Tokens. Mehrere Draft-Schichten, Mixture-of-Experts-Unterstützung und Latent ReLU stecken noch nicht im veröffentlichten Modell; fal rechnet damit, dass künftige Modelle sie nutzen werden.

Auf der Verifikationsseite kommt statt einer einzelnen Kette ein Baum zum Einsatz, sodass das Zielmodell alternative Fortsetzungen in einem einzigen Forward Pass prüfen kann. Eine eigene Attention-Maske hält den Kontext jedes Zweigs getrennt. Ein Harness steuert den Zielkonflikt zwischen Baumgröße und Kosten. Nach einer einmaligen Offline-Kalibrierung auf dem Ziel-GPU-Typ erstellt es eine Kostentabelle der Verifikationslatenz über Batch-Größe, Kontextlänge und Kandidatenzahl. Es verbreitert oder vertieft den Baum, solange der geschätzte Wahrscheinlichkeitsgewinn pro Grenzkosten über einem Schwellenwert bleibt. Das Ergebnis ist laut fal ein breiter, tiefer Baum bei Batch-Größe 1 oder langem Kontext und ein schmaler Baum oder eine schlichte Kette bei großem Batch, und zwar mit einem einzigen Drafter ohne feste Einstellungen für Tiefe oder Top-k.

Benchmark-Ergebnisse

Alle Experimente liefen auf NVIDIA-B300-GPUs mit Tensor Parallelism von 4. Die Auswertung nutzte den Expansionsdatensatz von fal mit 400 Prompts und einen kuratierten Datensatz von Fireworks, der 138 verwendbare Prompts lieferte. Die Vergleiche von Kette und Baum nutzen alle 138 Fireworks-Prompts und die 200 reinen Text-Prompts von fal.

Die kreative Prompt-Expansion erwies sich für Drafter als schwieriger. Die Akzeptanzlänge lag im Quartil der Prompts mit der höchsten Entropie bei 2,66, im Quartil mit der niedrigsten bei 2,97. Der Baum verbesserte die Akzeptanzlänge in allen Aufgabengruppen, mit einem relativen Gesamtgewinn von 9,6 % beim Fireworks-Datensatz und 12,4 % bei der reinen Text-Teilmenge von fal.

Der Vorteil wuchs mit dem Verifikationsbudget. Bei 16 Token, dem größten getesteten Wert, lag der Baum bei Fireworks um 21,1 % und bei der fal-Teilmenge um 26,1 % vor der Kette. Die Kette zeigte abnehmende Erträge, besonders bei den Daten von fal. Die Analyse nach Positionen ergab, dass sich der Gewinn früh konzentriert: Im Fireworks-Datensatz stieg die Trefferquote beim ersten Token von 72,5 % auf 85,3 %, ein Plus von 12,8 Prozentpunkten.

Der Quelltext vergleicht außerdem den Decoding-Durchsatz von DSpark, DFlash2, der statischen EAGLE-4-Kette und des EAGLE-4 Harness, doch der vorliegende Auszug endet vor diesen Ergebnissen.

Was das bedeutet

Für Teams, die interaktive Bild- und Videotools entwickeln, zeigt die Arbeit, dass die Prompt-Verbesserung ein Latenzengpass ist, den Speculative Decoding entschärfen kann. Der öffentliche Benchmark bietet anderen eine gemeinsame Grundlage, um Drafter an offenem, kreativem Text zu testen. Dieser ist, wie die Ergebnisse zeigen, schwieriger als die allgemeinen Workloads im Fireworks-Datensatz.