Neue Theorie verbindet Feature‑Lernen in RNNs und DNNs

Forscher haben eine einheitliche Mittelwertfeld‑Theorie entwickelt, die das Feature‑Learning in rekurrenten und tiefen neuronalen Netzwerken (RNNs und DNNs) erklärt. Die Arbeit zeigt, dass die beiden Architekturen sich lediglich durch Gewichtsteilung unterscheiden – ein Unterschied, der durch das „Unrolling“ in der Zeit sichtbar wird.

Die neue Theorie betrachtet das Training als Bayessche Inferenz über Sequenzen und Muster. Sie nutzt repräsentationskernels, um vollständig trainierte Netzwerke im Feature‑Learning‑Modus zu beschreiben. Dadurch werden die funktionalen Auswirkungen der Gewichtsteilung in RNNs direkt sichtbar.

Ein zentrales Ergebnis ist die Entdeckung einer Phasen­übergang‑Grenze: Unterhalb dieser Schwelle verhalten sich RNNs und DNNs identisch. Übersteigt das Lernsignal die durch zufällige Gewichte verursachte Rausch­schwelle, entwickeln ausschließlich RNNs korrelierte Repräsentationen über die Zeit. Für sequenzielle Aufgaben erzeugt die Gewichtsteilung zudem einen induktiven Bias, der die Generalisierung verbessert, indem unüberwachte Zeitschritte interpoliert werden.

Insgesamt liefert die Theorie einen klaren Zusammenhang zwischen der architektonischen Struktur und den funktionalen Vorlieben von neuronalen Netzwerken und eröffnet neue Perspektiven für die Entwicklung leistungsfähiger Lernmodelle.