Mamba-Modelle: Theoretische Analyse zeigt Feature‑Selektion

Die jüngsten Erfolge von Mamba und anderen selektiven Zustandsraummodellen haben das Interesse an Nicht‑Attention‑Architekturen für Sequenzmodelle neu entfacht – doch die theoretischen Grundlagen bleiben bislang wenig erforscht.

In dieser ersten Analyse wird ein vereinfachtes, aber repräsentatives Mamba‑Blockmodell untersucht: ein einzelnes Layer, ein einzelner Head mit Eingangs‑abhängiger Gating‑Funktion, gefolgt von einem zweischichtigen MLP, das mittels Gradient Descent trainiert wird.

Das Modell wird auf einem strukturierten Datensatz getestet, bei dem Tokens sowohl klassenrelevante als auch klassenirrelevante Muster enthalten und zusätzlich token‑level‑Noise aufweisen. Zwei klassische Szenarien werden betrachtet: Majority‑Voting‑Sequenzen und lokal strukturierte Datenreihen.

Die Ergebnisse zeigen, dass das Modell garantiert generalisiert. Durch die Herleitung von nicht‑asymptotischen Sample‑Komplexitäts‑ und Konvergenz­raten‑Grenzen lässt sich die Effizienz des Lernens quantifizieren – sie steigt mit zunehmendem Signal‑Stärke‑Verhältnis und sinkendem Rauschen. Darüber hinaus richtet sich der Gating‑Vektor gezielt auf relevante Features aus und ignoriert irrelevante, was eine Feature‑Selektion ähnlich der Attention formalisiert, jedoch über selektive Rekursion realisiert.

Numerische Experimente mit synthetischen Daten bestätigen die theoretischen Vorhersagen. Insgesamt liefert die Studie einen fundierten Einblick, wann und warum Mamba‑artige selektive Zustandsraummodelle effizient lernen, und bietet damit einen theoretischen Gegenpol zu transformer‑zentrierten Erklärungen.