Kritische Organisation von Deep Neural Networks und p-adischen Feldtheorien

In einer wegweisenden Arbeit untersuchen die Autoren die thermodynamische Grenze von Deep Neural Networks (DNNs) und rekurrenten neuronalen Netzwerken (RNNs) mit Sigmoid-Aktivierungen. Dabei wird das Netzwerk als kontinuierliche Struktur mit unendlich vielen Neuronen betrachtet, die ein zusammenhängendes Raumdiagramm bilden.

Die Analyse zeigt, dass in einem bestimmten Parameterbereich ein eindeutiger Zustand existiert, der sich stetig mit den Parametern ändert. Außerhalb dieses Bereichs bricht dieser Zustand in unendlich viele Zustände über, was eine kritische Bifurkation im Parameterraum darstellt. Diese kritische Organisation markiert den Übergang von einem einzigen zu unendlich vielen Zuständen.

Ein besonderes Highlight ist die Verwendung von p-adischen Zahlen, um hierarchische Strukturen zu kodieren. Die Autoren präsentieren einen Algorithmus, der die hierarchischen Topologien von DNNs und RNNs in p-adische baumartige Strukturen überführt. Dadurch wird die Verbindung zwischen hierarchischer und kritischer Organisation deutlich.

Als konkretes Beispiel wird ein hierarchischer Kantendetektor für Graustufenbilder vorgestellt, der auf p-adischen zellulären neuronalen Netzwerken basiert. Die kritische Organisation dieses Modells lässt sich als seltsamer Attraktor beschreiben, was auf komplexe dynamische Eigenschaften hinweist.

Im zweiten Teil der Studie werden zufällige Varianten von DNNs und RNNs untersucht, bei denen die Netzwerkparameter als generalisierte Gaußsche Zufallsvariablen in einem Raum quadratisch integrierbarer Funktionen modelliert werden. Für den unendlichen Breitenfall wird die Wahrscheinlichkeitsverteilung des Ausgangs bei gegebener Eingabe berechnet. Die Ergebnisse zeigen eine Potenzreihenentwicklung, deren konstanter Term einer Gaußschen Verteilung entspricht.