Tiefe Modelle steigern Genauigkeit: Lie-Algebraische Analyse von Sequenzmodellen

Moderne, skalierbare Sequenzmodelle – darunter Transformer-Varianten und strukturierte Zustandsraummodelle – opfern häufig ihre Ausdruckskraft, um auf Sequenzebene Parallelisierung zu ermöglichen. In dieser Arbeit wird untersucht, wie sich Fehlergrenzen verhalten, wenn Modelle außerhalb ihres Ausdrucksbereichs arbeiten, und zwar aus der Perspektive der Lie-Algebra‑Kontrolltheorie.

Die Theorie stellt eine Verbindung zwischen der Tiefe eines Sequenzmodells und einer Turmstruktur von Lie-Algebra-Erweiterungen her. Sie klassifiziert die Lie-Algebra‑Klasse von Modellen mit konstanter Tiefe und legt die entsprechenden Ausdrucksgrenzen fest. Darüber hinaus wird analytisch ein Approximationseffekt berechnet, der zeigt, dass der Fehler mit zunehmender Tiefe exponentiell abnimmt – ein Ergebnis, das die starke empirische Leistung dieser Modelle erklärt.

Die theoretischen Vorhersagen werden durch Experimente auf symbolischen Wortsequenzen und kontinuierlichen Zustandsverfolgungsaufgaben validiert. Die Ergebnisse bestätigen die prognostizierten Fehlerverhalten und unterstreichen die Bedeutung der Modelltiefe für die Leistungsfähigkeit paralleler Sequenzmodelle.