CSET erklärt, wie Black-Box-Destillation funktioniert und wie chinesische Labore sie nutzen könnten

Was Black-Box-Destillation ist

Laut CSET verbessert die Black-Box-Destillation ein schwächeres Schülermodell, indem die Ausgaben eines stärkeren Lehrermodells als Trainingsmaterial dienen. "Black Box" bedeutet, dass das Lehrermodell Closed Source ist und sich nur online über eine Web- oder Softwareschnittstelle ansprechen lässt. Die White-Box-Destillation nutzt dagegen Informationen über die internen Abläufe des Lehrers und setzt Zugriff auf dessen Gewichte voraus. Dieser Ansatz liegt laut CSET außerhalb des Rahmens des Explainers.

CSET beschreibt die Technik als gängig unter KI-Entwicklern und Forschenden. Traditionell dient sie dazu, Wissen und Fähigkeiten in kleinere Schülermodelle zu komprimieren und so deren Rechen- und Speicherbedarf zu senken. Zunehmend wird sie auch eingesetzt, um synthetische Daten zu gewinnen und Fähigkeiten vom Lehrer auf den Schüler zu übertragen, unabhängig von der Modellgröße.

Die fünf Schritte

CSET unterteilt den Prozess in fünf Schritte:

• Ziel festlegen sowie Schüler- und Lehrermodell auswählen.
• Ausgangsdaten (Seed-Daten) sammeln, die in den Lehrer eingespeist werden.
• Den Lehrer auf die gewünschten Ausgaben ausrichten.
• Synthetische Daten aus dem ausgerichteten Lehrer gewinnen, indem er mit den Seed-Daten angesprochen wird.
• Den Schüler mit diesen synthetischen Daten und verschiedenen Techniken trainieren.

Im ersten Schritt entscheiden die Destillierenden, welche Fähigkeiten sie destillieren wollen und ob es um Kompression oder Transfer geht. CSET weist darauf hin, dass der Großteil der veröffentlichten Forschung Fähigkeiten aus großen Lehrern wie ChatGPT in deutlich kleinere Schüler wie Llama-2-13B komprimiert. Die Destillierenden brauchen Zugriff auf die Gewichte des Schülers, während der Lehrer lediglich auf Prompts antworten muss, häufig über kostenpflichtige Konten, über die sich automatisierte Programme strukturiert anbinden lassen.

Schritt zwei betrifft die Seed-Daten. Sie stehen für die Fähigkeit (etwa agentische Werkzeugnutzung), die Domäne (Programmieren) oder das Verhalten (Befolgen von Anweisungen), die der Schüler lernen soll. Laut CSET führt die bloße Bitte an einen Lehrer, bestimmte Daten zu erzeugen, oft zu schwachen Ergebnissen, weshalb Seeds als Orientierung dienen. In der von CSET ausgewerteten Forschung reichten die Seeds von nur 175 von Menschen kuratierten Paaren aus Anweisung und Ausgabe bis zu 210.000 Beispielen für Mathematikaufgaben aus mehreren Datensätzen. Sie stammten typischerweise aus öffentlichen Benchmarks und bestehenden Datensätzen, vermutlich weil diese leicht verfügbar sind.

Der feindliche Fall

Laut CSET war Destillation bis Anfang 2025 relativ unumstritten. Dann warf OpenAI DeepSeek vor, mit der Destillation von ChatGPT gegen die Nutzungsbedingungen zu verstoßen. Seither sind mehrere chinesische Labore der feindlichen Destillation beschuldigt worden. Eine gemeinsame Cybersicherheitswarnung der US-Regierung vom September 2026 erklärte, chinesische Labore betrieben "eine systematische Extraktion proprietärer Funktionen und Fähigkeiten der Modelle von US-KI-Unternehmen durch Wissensdestillationskampagnen im industriellen Maßstab". CSET verweist zudem darauf, dass auch US-Unternehmen wie SpaceXAI aus anderen Closed-Source-Modellen amerikanischer Anbieter destilliert haben.

Zu den zentralen Erkenntnissen des CSET zählt, dass chinesische Labore tatsächlich aus proprietären US-Modellen destillieren und über Dritte darauf zugreifen, um die Herkunft zu verschleiern, und dass es dabei nicht um Kompression geht. Als Beleg nennt das CSET DeepSeeks R1 mit mehr als 670 Milliarden Parametern, das größer ist als einige Lehrer, aus denen es angeblich destilliert, etwa GPT-4o. Ziel sei es, Modelle im Post-Training weiter zu verbessern.

Der Thinktank betont auch die Unsicherheit. Die Menge an synthetischen Daten, die mit US-Modellen erzeugt wurde, sei erheblich und mache einen beträchtlichen Teil der Daten aus, mit denen einige chinesische Modelle im Post-Training trainiert werden, bleibe aber unklar. Anthropic, OpenAI und Google geben nicht an, wie viele Tokens ihre Modelle während der Kampagnen erzeugt haben, was sie laut CSET tun sollten. Wie stark chinesische Labore auf Destillation angewiesen sind, lasse sich kaum beurteilen, da der letzte Trainingsschritt nicht einsehbar sei.

Warum das für Erkennung und Politik wichtig ist

Laut CSET hängt die Erkennung von den verwendeten Seeds ab. Greifen Destillierende auf vorhandene Datensätze zurück, können US-Unternehmen eher Klassifikatoren entwickeln, um sie aufzuspüren. Schwieriger wird es, wenn Labore eigene Seeds verwenden oder Austausche von Drittnutzern sammeln. CSET verweist auf Vorwürfe, DeepSeek und Moonshot AI hätten den Datenverkehr ihrer Nutzer auf Claude statt auf die eigenen Modelle umgeleitet.

Der Explainer erklärt, diese technische Grundlage sei nötig, um den möglichen Nutzen für chinesische Labore, die Machbarkeit von Abwehrmaßnahmen, die Berechtigung von Diebstahlsvorwürfen und das Potenzial politischer Eingriffe zu bewerten. Zudem fordert er US-Labore auf, mehr Transparenz über ihre interne Forschung zu schaffen, wie sich Destillation auf Schülermodelle auswirkt.