Neues Paper: Komposition von neuronalen Netzen bestimmt Optimierungsverhalten

Ein brandneues arXiv‑Veröffentlichung beleuchtet, wie die Komposition von neuronalen Netzen das Optimierungs‑Landschaft und die Trainingsdynamik prägt. Die Autoren untersuchen den Gradientenfluss bei überparametrisierten Optimierungsproblemen, die als Training eines Netzes mit linearen Aktivierungen interpretiert werden können.

Erstaunlicherweise zeigen sie, dass globale Konvergenz für jede zulässige, reell analytische Kostenfunktion abgeleitet werden kann. Für skalare Kostenfunktionen lässt sich die Geometrie des Landschafts vollständig charakterisieren: Die Lage und Stabilität von Sattelstellen sind universell und hängen ausschließlich von der überparametrisierten Darstellung ab, nicht von problem‑spezifischen Details.

Ein weiteres Highlight ist die Möglichkeit, die Konvergenz je nach Initialisierung arbiträr zu beschleunigen. Dies wird anhand eines neuen Ungleichgewichtsmaßes gemessen, das in der Arbeit eingeführt wird. Abschließend diskutieren die Autoren, wie diese Erkenntnisse auf neuronale Netze mit sigmoiden Aktivierungen übertragbar sind, und demonstrieren dies an einem einfachen Beispiel, das die Persistenz der geometrischen und dynamischen Eigenschaften über die lineare Basis hinaus zeigt.