Google Research stellt Diffusion Controller vor, um KI-Bildmodelle gezielt zu steuern

29. September 2026, 20:38Quelle: Google Research

Google Research hat Diffusion Controller vorgestellt, ein schlankes Netzwerk in der Rolle eines "Lenkungsdämpfers", das die Text-zu-Bild-Generierung zu einer besseren Übereinstimmung mit dem Prompt lenkt, ohne das Hauptmodell zu verändern. Den Forschern zufolge lässt es sich sogar an zugriffsbeschränkte Closed-Source-Modelle anbinden und hält dabei die Basisbildqualität stabil.

Das Wichtigste in Kürze

Google Research hat Diffusion Controller vorgestellt, ein schlankes Zusatznetz in der Rolle eines "Lenkungsdämpfers" für Text-zu-Bild-Modelle.
Das Basismodell bleibt eingefroren, daher kann die Methode auch an Closed-Source-Gray-Box-Modelle angebunden werden.
Getestet wurde auf Stable Diffusion v1.4 mit SFT, belohnungsgewichtetem Loss und PPO, bewertet mit HPS-v2.
Die Gray-Box-Version schlug LoRA bei den HPS-v2-Gewinnraten in den SFT- und RWL-Durchläufen; die White-Box-Version erreichte gegenüber dem Basismodell eine Gewinnrate von 90 Prozent.
Ein einzelner Parameter für die Guidance-Stärke zur Inferenzzeit justiert die Prompt-Treue im laufenden Betrieb.

Das Problem: Prompt-Treue gegen Bildqualität

Text-zu-Bild-Modelle wie Nano Banana, Stable Diffusion und Flux können aus Text fotorealistische Bilder erzeugen. Google Research zufolge bleibt es aber "ein heikler und unberechenbarer Balanceakt", sie präzise auf die Absicht der Nutzer auszurichten. Der Blogbeitrag nennt ein Beispiel: Ein Prompt für eine Eidechse mit Sonnenbrille kann eine realistische Eidechse ohne Sonnenbrille liefern, während das erzwungene Einfügen der Sonnenbrille das Gesicht des Tieres verzerren kann.

Die Autoren Chih-wei Hsu und Moonkyung Ryu argumentieren, bestehende Methoden stünden unverbunden nebeneinander. Manche Entwickler setzen auf Verfahren zur Inferenzzeit wie Classifier-Free Diffusion Guidance. Andere verlassen sich auf Feinabstimmung mit parameter-effizienten Adaptern wie LoRA, belohnungsgewichteten Regressionen oder Policy Gradients. Laut Beitrag fehlte der Fachwelt bislang eine einheitliche mathematische Sprache, um diese Ansätze zusammenzuführen und zu optimieren. Ingenieure müssten deshalb beim Abwägen zwischen Präferenzausrichtung und Bildqualität oft raten.

So funktioniert Diffusion Controller

Das Framework deutet den Entrauschungsprozess, bei dem ein Modell von zufälligem Rauschen ausgeht und es schrittweise zu einem Bild verfeinert, als kontinuierliches Steuerungsproblem. Die Forscher vergleichen das vortrainierte Basismodell mit einem leistungsstarken Motorrad. Statt den Motor umzubauen, fungiert der Diffusion Controller als Lenkungsdämpfer, während das Hauptmodell eingefroren und unangetastet bleibt.

Das Netzwerk beobachtet das Bild, während es vom Rauschen befreit wird, und fügt kleine Korrekturen hinzu. Richtungen, die ein vom Nutzer definiertes Ziel maximieren, etwa einen künstlerischen Stil oder die inhaltliche Passung, gewichtet es stärker. Eine Strafkomponente als Leitplanke hält das Ergebnis dabei nahe am Standardverhalten des Basismodells. Im Eidechsenbeispiel wird die Sonnenbrille eingefügt, ohne Schuppen und Proportionen des Tieres zu verzerren.

Google beschreibt zwei Feinabstimmungsmethoden auf Basis eines abschließenden Belohnungswerts:

Policy Gradient und PPO: schrittweise Anpassungen mit einer eingebauten Clipping-Regel, die sprunghafte Änderungen begrenzt und das Training stabil hält.
Belohnungsgewichteter Loss: ein direkter Optimierungsweg, der Generierungsprozesse belohnt, die hochwertige Ergebnisse liefern.

Der Beitrag betont auch einen wirtschaftlichen Aspekt. Viele der besten Bildmodelle seien Betriebsgeheimnisse und würden als Black Boxes oder Gray Boxes beschrieben. Laut den Autoren können Ingenieure solche Closed-Source-Modelle mit dem Lenkungsdämpfer-Netzwerk steuern und anpassen, ohne den zugrunde liegenden Code anzutasten.

Experimente und Ergebnisse

Das Team evaluierte das Framework auf einem Stable-Diffusion-v1.4-Backbone in drei Feinabstimmungsregimen: Supervised Fine-Tuning (SFT), belohnungsgewichteter Loss (RWL) und PPO. Die Leistung wurde mit dem Human Preference Score (HPS-v2) gemessen. Umgesetzt wurden vier Netzwerkstrukturen: Diffusion Controller für Gray-Box-Zugriff, Diffusion Controller-Naive sowie zwei White-Box-Varianten, Diffusion Controller-J (gemeinsames Training) und Diffusion Controller-S (getrenntes Training).

Google berichtet, das schlanke Zusatzmodul habe den Industriestandard bei der Anpassung an menschliche Präferenzen übertroffen, und die vollständig freigeschaltete White-Box-Version habe gegenüber dem Basismodell eine Gewinnrate von 90 Prozent erzielt. In den SFT- und RWL-Durchläufen schlug das Gray-Box-Netzwerk bei den HPS-v2-Gewinnraten LoRA, das als State-of-the-Art unter den parameter-effizienten White-Box-Ansätzen gilt, und manipulierte dabei deutlich weniger interne Modellschichten. In menschlichen Bewertungsrunden erzielte Diffusion Controller laut Beitrag bei komplexen Prompts mit mehreren Attributen die beste subjektive Qualität und Prompt-Übereinstimmung.

Einstellbare Steuerung zur Laufzeit und Bedeutung

Das Framework bietet zudem einen einzelnen Parameter für die Guidance-Stärke zur Inferenzzeit. Nutzer können die Intensität der Steuerungsvorgaben hoch- oder herunterdrehen und so die Prompt-Treue fein justieren, ohne die Stabilität des Basisbilds zu gefährden oder jene visuellen Verzerrungen auszulösen, die die Autoren mit älteren Guidance-Methoden verbinden.

Für Entwickler lautet das Versprechen: ein einheitlicher Weg, Bildmodelle zu steuern, der funktioniert, egal ob sie Zugriff auf die internen Gewichte eines Modells haben oder nicht. Sollten sich die berichteten Ergebnisse über das getestete Setup mit Stable Diffusion v1.4 hinaus bestätigen, könnten Teams, die mit Closed-Source-Modellen arbeiten, die Prompt-Treue abstimmen, ohne das Basissystem neu zu trainieren. Zur Verfügbarkeit oder zu Veröffentlichungsplänen jenseits des begleitenden Papers macht die Quelle keine Angaben.