QL‑LSTM: Parameter‑sparende LSTM für stabile Langsequenz‑Modelle

Recurrent Neural Networks wie LSTM und GRU sind nach wie vor die bevorzugte Wahl für Sequenz‑Modelle, doch sie leiden an zwei zentralen Schwächen: zu vielen gate‑spezifischen Parametern und einer eingeschränkten Fähigkeit, Informationen über lange Zeiträume hinweg zu speichern.

Die neue Quantum‑Leap LSTM (QL‑LSTM) löst diese Probleme mit zwei unabhängigen Komponenten. Der Parameter‑Shared Unified Gating‑Mechanismus ersetzt sämtliche gate‑spezifischen Transformationen durch eine einzige gemeinsame Gewichtsmatrix, wodurch die Parameterzahl um etwa 48 % reduziert wird, ohne dass die volle Gating‑Funktionalität verloren geht.

Die Hierarchical Gated Recurrence mit Additive Skip Connections fügt einen multiplikationsfreien Pfad hinzu, der den Informationsfluss über lange Distanzen verbessert und die Abnahme der Forget‑Gate‑Funktion verringert.

In Tests zur Sentiment‑Analyse mit verlängerten Dokumenten aus dem IMDB‑Datensatz zeigt die QL‑LSTM‑Architektur eine konkurrenzfähige Genauigkeit, während sie deutlich weniger Parameter benötigt als klassische LSTM-, GRU- und BiLSTM‑Modelle.

Obwohl PSUG und HGR‑ASC pro Zeitschritt effizienter sind, bleibt die aktuelle Prototyp‑Version durch die inhärente sequentielle Natur von Rekurrenten Modellen in Bezug auf die reale Laufzeit begrenzt. Weitere Optimierungen auf Kernel‑Ebene sind erforderlich, um echte Zeitersparnisse zu erzielen.