Mosaic Pruning: Neues Verfahren für vielseitiges Pruning von Mixture-of-Experts
Die Sparse Mixture-of-Experts (SMoE) Architektur hat die Skalierung großer Sprachmodelle revolutioniert, indem sie nur einen Bruchteil der Parameter während der Inferenz aktiviert. Trotz dieser Effizienz bleibt die praktische Nutzung stark durch den statischen Speicherbedarf eingeschränkt, denn sämtliche Experten müssen gleichzeitig im Arbeitsspeicher gehalten werden.
