SSM-Modelle schrumpfen im Training: Schnellere Optimierung ohne Leistungseinbußen

State‑Space‑Modelle (SSMs) sind darauf ausgelegt, lange Sequenzen effizient zu verarbeiten. Sie kombinieren paralleles Training mit schneller Inferenz, indem sie dynamische Systeme mit einem versteckten Zustand nutzen. Der Rechenaufwand hängt jedoch von der Dimension dieses Zustands ab, was ein Balance‑Dilemma zwischen Ausdruckskraft und Effizienz schafft.

Durch die Anwendung von Hankel‑Singularwert‑Analyse aus der Regelungstechnik wird die Energie jedes Zustands gemessen und das Modell auf die wichtigsten Dimensionen reduziert. Während des Trainings werden nur die stark einflussreichen Zustände beibehalten, sodass die Modellgröße schrittweise abnimmt, ohne die Leistungsfähigkeit zu verlieren.

Experimente zeigen, dass SSMs, die zunächst groß starten und sich während des Trainings verkleinern, die Optimierung deutlich beschleunigen und gleichzeitig die entscheidenden Strukturen bewahren, die bei kleineren Modellen verloren gehen würden. Damit erreichen sie eine höhere Rechenleistung bei gleichbleibender oder sogar verbesserter Genauigkeit.