Direktes Kolen‑Pollack‑Feedback beschleunigt Predictive Coding Netzwerke

Predictive Coding (PC) ist ein biologisch inspiriertes Lernverfahren, das ausschließlich lokale Aktualisierungen nutzt und damit paralleles Lernen über die Schichten hinweg ermöglicht. In der Praxis stoßen jedoch zwei zentrale Probleme an ihre Grenzen: Fehler­signale müssen erst von der Ausgangsschicht zurück zu den frühen Schichten propagiert werden, was mehrere Inferenzschritte erfordert, und die Rück­feedback‑Signalstärke verfällt dabei exponentiell, sodass die Updates in den unteren Schichten schwächer werden.

Die neue Methode Direct Kolen‑Pollack Predictive Coding (DKP‑PC) löst beide Probleme gleichzeitig. Durch die Einführung lernbarer Rück­feedback‑Verbindungen von der Ausgangsschicht zu allen versteckten Schichten entsteht ein direkter Pfad für die Fehler­übertragung. Dadurch reduziert sich die theoretische Zeitkomplexität der Fehler­propagation von O(L) – wobei L die Tiefe des Netzes ist – auf O(1). Das eliminiert die tiefenabhängige Verzögerung, die bei herkömmlichem PC unvermeidlich ist.

Experimentelle Tests zeigen, dass DKP‑PC nicht nur die gleiche, sondern häufig sogar bessere Leistung als Standard‑PC erzielt. Gleichzeitig verbessert sich die Latenz und die Rechen­effizienz erheblich, was die Methode besonders attraktiv für hardware‑effiziente Implementierungen macht. DKP‑PC stellt damit einen bedeutenden Fortschritt für die Skalierbarkeit und Praxisrelevanz von Predictive‑Coding‑Netzwerken dar.