SpecMD: Benchmark-Studie enthüllt neue Caching-Strategien für MoE-Modelle
Die neueste Forschung aus dem arXiv-Repository beleuchtet, wie Mixture-of-Experts (MoE)-Modelle durch gezieltes Caching ihre Leistung deutlich steigern können. MoE-Modelle aktivieren nur einen Teil ihrer Parameter bei j…