EP-Training für tiefe CRNNs: Zwischenfehler verbessern Skalierbarkeit

Ein neues Verfahren namens Equilibrium Propagation (EP) verspricht, das Training von tiefen rekurrenten neuronalen Netzen (CRNNs) zu revolutionieren. EP nutzt einen biologisch inspirierten, lokalen Lernmechanismus, bei dem die Gewichtsanpassungen ausschließlich aus den neuronalen Zuständen zweier Phasen abgeleitet werden. Dadurch kommen die Gradienten, die EP berechnet, sehr nahe an die von Backpropagation Through Time (BPTT) heran, während die Rechenlast deutlich reduziert wird – ein entscheidender Vorteil für das On‑Chip‑Training in neuromorphen Systemen.

Bislang war EP jedoch auf flache Architekturen beschränkt, weil tiefere Netzwerke unter dem Vanishing‑Gradient‑Problem leiden. Das neue Framework löst dieses Problem, indem es Zwischenschritte mit Fehlersignalen einführt, die den Informationsfluss verbessern und die neuronalen Dynamiken schneller konvergieren lassen. Dabei wird erstmals Wissenstransfer (Knowledge Distillation) mit lokalen Fehlersignalen kombiniert, was die Lernfähigkeit von EP signifikant erhöht.

Die Ergebnisse sind beeindruckend: Auf den Benchmark‑Datensätzen CIFAR‑10 und CIFAR‑100 erzielt das Verfahren einen neuen Stand der Technik, selbst bei tiefen VGG‑Architekturen. Diese Fortschritte zeigen, dass EP nun skalierbar genug ist, um in realen Systemen eingesetzt zu werden, und eröffnen neue Perspektiven für energieeffizientes, auf Chip trainierbares maschinelles Lernen.