Equilibrium Propagation ohne Grenzen: Finite Nudges ermöglichen Lerngradienten
In einer wegweisenden Veröffentlichung wird Equilibrium Propagation (EP) von der Beschränkung infinitesimaler Störungen befreit. Durch die Einführung eines „finite‑nudge“ Ansatzes wird die Lernmechanik auf ein solides Fundament gestellt, das keine unendlichen Annäherungen mehr erfordert.
Der Schlüssel liegt darin, die Zustände eines neuronalen Netzwerks nicht als deterministische Punkte, sondern als Gibbs‑Boltzmann‑Verteilungen zu beschreiben. Damit lässt sich zeigen, dass die Ableitung der Differenz der Helmholtz‑freien Energie zwischen einer „nudged“ und einer freien Phase exakt dem Unterschied der erwarteten lokalen Energie‑Ableitungen entspricht. Diese Gleichung liefert einen mathematisch präzisen Zusammenhang zwischen Energieänderungen und Lerngradienten.
Folglich wird die klassische Contrastive Hebbian Learning‑Update‑Regel als exakter Gradientenschätzer für beliebig große, aber endliche Nudges bestätigt. Dabei entfällt die Notwendigkeit von infinitesimalen Annäherungen oder der Annahme konvexer Landschaften – ein bedeutender Fortschritt für die Praxis.
Darüber hinaus wird ein generalisierter EP‑Algorithmus vorgestellt, der auf dem Pfadintegral der Verlust‑Energie‑Kovarianzen basiert. Dieser Ansatz ermöglicht das Lernen mit starken Fehlersignalen, die herkömmliche infinitesimale Approximationen nicht unterstützen können. Damit eröffnet die Arbeit neue Wege für robuste und effiziente Lernverfahren in komplexen neuronalen Modellen.