GHOST: Reduziert Mamba2‑Statusdimension um 50 % ohne großen Qualitätsverlust

Die neueste Veröffentlichung auf arXiv (2602.11408v1) stellt GHOST vor – ein strukturiertes Pruning‑Framework, das die enorme Zustandsdimension von Mamba2 effizient reduziert, ohne dabei die Modellleistung stark zu beeinträchtigen. Mamba2 nutzt eine erweiterte Zustandsgröße, um zeitliche Abhängigkeiten besser zu erfassen, doch diese Erweiterung führt zu einem erheblichen Rechenaufwand, der insbesondere bei autoregressiven Generationen die Bandbreite überlastet.

Traditionelle Methoden wie unstrukturierte Sparsity, magnitudenbasierte Auswahl oder gradientenbasierte Ansätze stoßen hier an ihre Grenzen: sie hinterlassen die Aktivierungen dicht, berücksichtigen die Laufzeitdynamik nicht oder erfordern aufwendige Backpropagation. GHOST löst das Problem, indem es die Prinzipien der kontrolltheoretischen Balanced Truncation nutzt – jedoch ausschließlich auf Basis von Forward‑Pass‑Statistiken. Durch die gleichzeitige Messung von Kontrollierbarkeit und Beobachtbarkeit kann GHOST die wichtigsten Zustände identifizieren und weniger relevante Teile abschneiden.

Die Ergebnisse sind beeindruckend: Für Modelle zwischen 130 M und 2,7 B Parametern reduziert GHOST die Zustandsdimension um etwa 50 % und steigert die Perplexität auf WikiText‑2 lediglich um rund einen Punkt. Damit erreicht es eine Leistung, die mit gradientenbasierten Verfahren vergleichbar ist, ohne deren hohen Rechenaufwand.

Der Quellcode ist frei verfügbar unter https://anonymous.4open.science/r/mamba2_ghost-7BCB/ und bietet Forschern sowie Entwicklern die Möglichkeit, die Technik sofort in eigenen Projekten einzusetzen.