Mosaic Pruning: Neues Verfahren für vielseitiges Pruning von Mixture-of-Experts

Die Sparse Mixture-of-Experts (SMoE) Architektur hat die Skalierung großer Sprachmodelle revolutioniert, indem sie nur einen Bruchteil der Parameter während der Inferenz aktiviert. Trotz dieser Effizienz bleibt die praktische Nutzung stark durch den statischen Speicherbedarf eingeschränkt, denn sämtliche Experten müssen gleichzeitig im Arbeitsspeicher gehalten werden.

Aktuelle Post‑Training‑Pruning‑Methoden reduzieren zwar die Modellgröße, greifen jedoch auf ein einziges, allgemeines Korpus zurück, um die zu entfernenden Parameter zu bestimmen. Das führt zu einer drastischen Leistungsabnahme, wenn das gezupfte Modell auf andere Domänen angewendet wird, und erfordert für jede neue Aufgabe ein kostenintensives Neuprunen.

Mit Mosaic Pruning (MoP) wird dieses Problem adressiert. Das Verfahren bildet zunächst funktional umfassende Expertengruppen, indem es einen Ähnlichkeitsmaßstab nutzt, der die Leistung der Experten über verschiedene Aufgaben hinweg erfasst. Anschließend wählt MoP aus jeder Gruppe den repräsentativsten Experten anhand des neu entwickelten Activation Variability Score aus. So bleibt das gezupfte Modell ein funktionskomplementäres Set an Experten – ähnlich den einzelnen Fliesen eines Mosaiks, die zusammen das komplette Bild des ursprünglichen Modells darstellen.

Umfangreiche Experimente an unterschiedlichen MoE‑Modellen zeigen, dass Mosaic Pruning die Leistung bei diversen Down‑stream‑Aufgaben deutlich verbessert und gleichzeitig die Speicheranforderungen reduziert, ohne dass ein erneutes Pruning für jede neue Domäne nötig ist.