Kompression als Routing: Rekonstruktionsfehler Signal für modulare Sprachmodelle
Die neuesten Fortschritte bei großen Sprachmodellen (LLMs) stehen vor drei zentralen Problemen: begrenzte Kontextlängen, hohe Inferenzkosten und das katastrophale Vergessen bei kontinuierlichem Lernen. Mixture-of-Expert…