Hugging Faces HOPE-Methode beschneidet MoE-Experten mit Blick auf ihre Partner

Warum das Beschneiden von Experten wichtig ist

Mixture-of-Experts- oder MoE-Modelle können auf Hunderte Milliarden Parameter skaliert werden. Ihre Experten verursachen bei der Inferenz jedoch einen erheblichen Speicheraufwand. Hugging Face nennt Qwen3.5-122B als Beispiel: Die 48 MoE-Schichten enthalten jeweils 256 Experten, und 95% des Parameterspeicherbedarfs von etwa 250 GB entfallen auf die Experten-MLPs. Für jedes einzelne Token werden allerdings nur 8 Experten pro Schicht verwendet.

Beim Expert Pruning werden die am wenigsten nützlichen Experten dauerhaft entfernt. Laut Hugging Face lassen sich dadurch Latenzprobleme vermeiden, die beim dynamischen Laden oder Auslagern von Experten entstehen, außerdem ist kein Training erforderlich und der Ansatz kann mit Quantisierung kombiniert werden. Die Herausforderung besteht darin, die zu entfernenden Experten auszuwählen, ohne das Modell zu beschädigen.

HOPE geht über individuelle Expertenbewertungen hinaus

Bestehende Pruning-Methoden weisen Experten in der Regel jeweils einen unabhängigen Wichtigkeitswert zu und entfernen innerhalb jeder Schicht die Experten mit den niedrigsten Werten. Hugging Face bezeichnet diese als Methoden erster Ordnung, weil sie den Beitrag jedes Experten als unabhängig betrachten.

Nach Angaben des Unternehmens bilden Experten stattdessen stabile kooperative Gruppen, die wiederholt gemeinsam aktiviert werden. Die Entfernung eines Experten kann daher einem anderen Experten schaden, der häufig mit ihm zusammenarbeitet, selbst wenn der erste Experte für sich genommen unwichtig erscheint. Dieses Problem verschärft sich bei hohen Pruning-Raten, etwa wenn 50% der Experten entfernt werden.

HOPE steht für Higher-Order Pruning of Experts und ist als Methode zweiter Ordnung konzipiert. Sie nutzt paarweise Interaktionen zwischen Experten, um eine zu beschneidende Menge auszuwählen. Ihr Ziel basiert auf einem Ersatzwert für den Pruning-Fehler, der Kreuzterme für die Gate-gewichteten Ausgabebeiträge von Paaren gemeinsam aktivierter Experten enthält.

So funktioniert die Methode in der Praxis

HOPE erstellt anhand eines Kalibrierungsdatensatzes eine Interaktionsmatrix. Die Diagonale der Matrix steht für die individuelle Bedeutung eines Experten, während die Einträge außerhalb der Diagonale paarweise kooperative Beiträge darstellen. Anschließend formuliert die Methode die Auswahl der zu entfernenden Experten als quadratisches Programm. Dabei kommt zunächst eine kontinuierliche Relaxation zum Einsatz, bevor das Ergebnis auf binäre Lösungen gerundet wird.

Hugging Face zufolge verwendet HOPE denselben Kalibrierungsdurchlauf wie andere Ansätze zum Pruning von Experten: einen Vorwärtsdurchlauf über die Kalibrierungsdaten. Der zusätzliche Schritt mit dem quadratischen Programm ist nicht konvex, kann aber mit einem Standard-QP-Solver in 1, 2 Sekunden pro Schicht gelöst werden. Das Unternehmen erklärt, dass die Kalibrierung weiterhin den größten Kostenfaktor darstellt und der zusätzliche Aufwand gegenüber Methoden erster Ordnung daher vernachlässigbar ist.

Bei 50% Pruning erreicht HOPE laut Hugging Face den besten durchschnittlichen Rang aller untersuchten Methoden. Gegenüber der nächstbesten Pruning-Methode wurden bei agentischen Coding-Aufgaben Verbesserungen von bis zu +6.1% erzielt. Der Beitrag erklärt außerdem, dass die Diagonale von HOPE die Experten-Rangfolge von REAP, einer Pruning-Methode erster Ordnung, mit einem Spearman-ρ von 0.988 nahezu reproduziert. Dieser Vergleich soll zeigen, dass die gemeldete Verbesserung auf der Berücksichtigung von Interaktionen beruht und nicht auf dem Ersatz individueller Experten-Wichtigkeitswerte.