MoE-LLM-Kompression durch Routing-Frequenz und Informationsdichte
Die neuesten Fortschritte bei Mixture-of-Experts (MoE) Modellen haben die Leistungsfähigkeit großer Sprachmodelle deutlich gesteigert – doch die damit einhergehende Speicherlast bleibt ein großes Hindernis für die Praxis. Traditionelle SVD‑Kompressionen setzen meist auf gleichmäßige Ranks oder statische Gewichtseigenschaften, vernachlässigen dabei aber die starke Heterogenität in der Nutzung der Experten. Das neue Verfahren RFID‑MoE adressiert dieses Problem, indem es die Aktivierungsfrequenz der Experten mit deren effektiver Ranghöhe kombiniert und so eine adaptive Rangverteilung innerhalb eines festen Budgets ermöglicht.
