Gated KalmaNet: Effiziente, stabile Sprachmodellierung mit Online Ridge Regression

Lineare Zustandsraummodelle (SSMs) bieten für Attention‑basierte Modelle einen enormen Speicher- und Rechenvorteil, weil sie nur eine komprimierte, „verblasste“ Zusammenfassung der Vergangenheit speichern. Diese Beschränkung führt jedoch häufig zu schlechteren Ergebnissen bei Aufgaben, die ein genaues Erinnern erfordern. Das neue Gated KalmaNet (GKA) adressiert dieses Problem, indem es die gesamte Vorgeschichte bei der Vorhersage des nächsten Tokens berücksichtigt – und das ohne die Effizienz von SSMs zu verlieren.

GKA löst ein Online‑Ridge‑Regression‑Problem in Echtzeit. Dabei wird die Regularisierung adaptiv an die Eingabe angepasst und durch ein Gate gesteuert, das die Bedingungszahl der Regression kontrolliert. Diese Technik sorgt für numerische Stabilität, selbst in niedrigen Präzisionsumgebungen wie bfloat16, und ermöglicht gleichzeitig eine ausgewogene Beibehaltung von Speicherinformationen.

Ein weiteres Schlüsselelement ist die Verwendung von Chebyshev‑Iteration statt herkömmlicher Solver. Chebyshev‑Iteration ist in niedriger Präzision robuster und lässt sich besser parallelisieren. Durch eine hardware‑bewusste, chunk‑weise Implementierung und maßgeschneiderte Kernels für die Rückpropagation der adaptiven Regularisierung und der Gate‑Mechanismen wird die Skalierbarkeit weiter erhöht.

Experimentelle Ergebnisse zeigen, dass GKA bei kurzen Kontextaufgaben starke Sprachverständnisfähigkeiten erreicht und dabei die konstanten Speicher- und Rechenkosten von SSMs beibehält. Damit stellt GKA einen vielversprechenden Schritt dar, um die Leistungslücke zwischen effizienten SSMs und klassischen Attention‑Modellen zu schließen.