Kompression als Routing: Rekonstruktionsfehler Signal für modulare Sprachmodelle
Die neuesten Fortschritte bei großen Sprachmodellen (LLMs) stehen vor drei zentralen Problemen: begrenzte Kontextlängen, hohe Inferenzkosten und das katastrophale Vergessen bei kontinuierlichem Lernen. Mixture-of-Experts (MoE)-Architekturen können einige dieser Konflikte mildern, doch ihre Routing‑Mechanismen beruhen meist auf explizit trainierten Hilfs‑Klassifikatoren, die die Systemkomplexität erhöhen und die Interpretierbarkeit bei gemischten Domänen erschweren.