EP-Trainierte RNNs meistern kontinuierliches Lernen dank Schlaf‑Replay

Ein neues Verfahren namens Sleep‑Like Replay Consolidation (SRC) ermöglicht es RNNs, die mit dem biologisch plausiblen Algorithmus Equilibrium Propagation (EP) trainiert wurden, kontinuierlich neue Aufgaben zu erlernen, ohne ihr bereits erworbenes Wissen zu verlieren. Durch die wiederholte Wiedergabe von Trainingsdaten in einem schlafähnlichen Zustand werden die neuronalen Gewichte stabilisiert und das Phänomen des katastrophalen Vergessens – bei dem neue Lerninhalte alte Informationen überschreiben – wird deutlich reduziert.

In einer Reihe von Benchmark‑Tests, darunter MNIST, Fashion‑MNIST, Kuzushiji‑MNIST, CIFAR‑10 und ImageNet, zeigte die MRNN‑EP‑Architektur mit SRC eine Leistung, die derjenigen von Backpropagation Through Time (BPTT) gleichwertig war und bei den meisten Datensätzen sogar überlegen war. Besonders hervorzuheben ist die Kombination aus SRC und „awake replay“, also der aktiven Wiederholung von bereits gelernten Mustern während des Lernens, die die Langzeit‑Retention weiter stärkt.

Die Ergebnisse deuten darauf hin, dass biologisch inspirierte Lernmechanismen nicht nur die Effizienz von neuronalen Netzwerken erhöhen, sondern auch die Grundlage für robuste, lebenslange Lernsysteme legen können. Diese Fortschritte bringen uns einen Schritt näher an die Funktionsweise des menschlichen Gehirns, das durch Schlaf‑ und Wach‑Replay‑Prozesse sein Wissen kontinuierlich erweitert.