Kompression als Routing: Rekonstruktionsfehler Signal für modulare Sprachmodelle

Die neuesten Fortschritte bei großen Sprachmodellen (LLMs) stehen vor drei zentralen Problemen: begrenzte Kontextlängen, hohe Inferenzkosten und das katastrophale Vergessen bei kontinuierlichem Lernen. Mixture-of-Experts (MoE)-Architekturen können einige dieser Konflikte mildern, doch ihre Routing‑Mechanismen beruhen meist auf explizit trainierten Hilfs‑Klassifikatoren, die die Systemkomplexität erhöhen und die Interpretierbarkeit bei gemischten Domänen erschweren.

Auf der Grundlage der Idee „Kompression ist Intelligenz“ präsentiert die neue Studie die Philosophie „Kompression ist Routing“. Ein 87‑Millionen‑Parameter‑Transformer‑Autoencoder wurde end‑to‑end trainiert und erreicht eine beeindruckende 64‑fach‑Kompression der Sequenzlänge – 512 Tokens werden auf lediglich 8 latente Vektoren reduziert. Die Rekonstruktionsgenauigkeit des Modells ist dabei extrem domänenspezifisch: 99,47 % bei in‑Domain‑Code, 47,76 % bei semi‑out‑of‑Distribution‑Wiki‑Texten und nur 0,57 % bei vollständig out‑of‑Distribution‑Zufallssequenzen.

Diese systematische Leistungsdifferenz beweist, dass der Rekonstruktionsfehler ein intrinsisches Fingerabdruck‑Signal für die Datenverteilung darstellt. Anhand dieses Signals können Expert‑Module automatisch ohne zusätzliche Gate‑Netzwerke geplant werden, was die Skalierbarkeit erheblich verbessert. Die Arbeit zeigt damit einen vielversprechenden Weg auf, Routing‑Mechanismen in modularen Sprachmodellen effizienter und transparenter zu gestalten.