Sheaf-Theorie erklärt Fehler in linearen Predictive Coding Netzwerken

Predictive Coding (PC) ersetzt das herkömmliche globale Backpropagation durch eine lokale Optimierung von Gewichten und Aktivierungen. In der neuen Studie wird gezeigt, dass lineare PC‑Netze sich elegant als zellulare Sheaves darstellen lassen.

Die Sheaf‑Coboundary‑Abbildung wandelt Aktivierungen in kantenweise Vorhersagefehler um, während die PC‑Inference selbst als Diffusion unter dem Sheaf‑Laplacian wirkt. Durch diese Formulierung lässt sich das Verhalten des Netzwerks mathematisch präzise beschreiben.

Die Sheaf‑Kohomologie liefert dabei ein kraftvolles Werkzeug: Sie identifiziert irreduzible Fehlermuster, die durch die Inferenz nicht beseitigt werden können. Damit wird klar, welche Fehlerquellen im Netzwerk strukturell fest verankert sind.

Besonders interessant ist die Analyse rekurrenter Topologien, in denen Rückkopplungsschleifen interne Widersprüche erzeugen und Vorhersagefehler erzeugen, die nicht mit der Supervision zusammenhängen. Mithilfe einer Hodge‑Zerlegung wird ermittelt, wann diese Widersprüche das Lernen zum Stillstand bringen. Das Sheaf‑Formalismus bietet damit diagnostische Mittel zur Erkennung problematischer Netzwerkstrukturen und liefert Designprinzipien für eine effektive Gewichtseinitialisierung bei rekurrenten PC‑Netzen.