Entropische Barrieren erklären, warum neuronale Netze in einem Flachbereich bleiben

Moderne neuronale Netze besitzen ein bemerkenswertes Merkmal: Die Flachbereiche des Verlustlandschapes sind häufig durch Wege mit kaum steigender Verlustfunktion miteinander verbunden, doch die Optimierungsdynamik bleibt meist in einem einzigen konvexen Bereich gefangen und erkundet selten die dazwischenliegenden Punkte.

In einer neuen Studie wird dieses Paradoxon aufgeklärt, indem entropische Barrieren identifiziert werden, die aus dem Zusammenspiel von Krümmungsvariationen entlang dieser Wege und dem Rauschen in der Optimierung resultieren. Die Krümmung steigt systematisch abseits der Minima, wodurch effektive Kräfte entstehen, die die verrauschte Dynamik zurück zu den Endpunkten drängen – selbst wenn der Verlust nahezu flach bleibt.

Diese Barrieren wirken länger als klassische energetische Barrieren und bestimmen damit die spätere Lokalisierung der Lösungen im Parameterraum. Die Ergebnisse unterstreichen die entscheidende Rolle von krümmungsinduzierten entropischen Kräften bei der Steuerung von Konnektivität und Konfinement in tiefen Lernlandschappen.