MoE-LLM-Kompression durch Routing-Frequenz und Informationsdichte

Die neuesten Fortschritte bei Mixture-of-Experts (MoE) Modellen haben die Leistungsfähigkeit großer Sprachmodelle deutlich gesteigert – doch die damit einhergehende Speicherlast bleibt ein großes Hindernis für die Praxis. Traditionelle SVD‑Kompressionen setzen meist auf gleichmäßige Ranks oder statische Gewichtseigenschaften, vernachlässigen dabei aber die starke Heterogenität in der Nutzung der Experten. Das neue Verfahren RFID‑MoE adressiert dieses Problem, indem es die Aktivierungsfrequenz der Experten mit deren effektiver Ranghöhe kombiniert und so eine adaptive Rangverteilung innerhalb eines festen Budgets ermöglicht.

Ein weiteres Highlight von RFID‑MoE ist die Wiederherstellung der Kompressionsresiduale. Anstatt diese Informationen zu verwerfen, nutzt das System einen sparsamen Projektionsmechanismus, der die verlorenen Details mit minimalem Parameteraufwand zurückgewinnt. Dadurch bleibt die Modellleistung erhalten, während die Parameterzahl deutlich reduziert wird.

In umfangreichen Tests auf führenden MoE‑LLMs wie Qwen3 und DeepSeekMoE über verschiedene Kompressionsraten hinweg hat RFID‑MoE konsequent die Konkurrenz übertroffen. Besonders beeindruckend ist die Leistung des Qwen3‑30B Modells: Bei einer 60 %‑Kompression erreicht es eine Perplexität von 16,92 auf dem PTB‑Datensatz – ein Rückgang von über 8,0 Punkten im Vergleich zu etablierten Methoden wie MoBE und D2‑MoE.