Neuer Ansatz: Einheitlich konsistente Adjoint-Methoden für Deep Learning

In der Welt der tiefen neuronalen Netze, die aus linearen Transformationen und positiv homogenen Nichtlinearitäten wie ReLU bestehen, gilt eine fundamentale Symmetrie: die Netzfunktion bleibt unverändert, wenn die Parameter an jedem Knotenpunkt diagonal skaliert werden. Diese Eigenschaft, die als Gauge‑Symmetrie bezeichnet wird, wird jedoch von herkömmlichen Gradientenabstiegsverfahren nicht berücksichtigt, was dazu führt, dass Optimierungswege stark von willkürlichen Parametrierungen abhängen.

Frühere Ansätze haben sich darauf konzentriert, Optimierungsmethoden zu entwickeln, die diese Reskalierungsinvarianz explizit berücksichtigen, etwa durch Pfad‑basierten oder Pfad‑Raum‑Updates. Der neue Beitrag geht einen Schritt weiter: Er formuliert die Invarianzbedingung auf der Ebene des rückwärtsgerichteten Adjoint‑Operators und der Optimierungsgeometrie. Durch den Ersatz der üblichen euklidischen Transponierten durch einen Unit‑Consistenten (UC) Adjoint‑Operator entsteht ein einheitliches, operatorbasiertes Verfahren, das auf sämtliche Netzwerkkomponenten und Optimiererzustände anwendbar ist.

Das Ergebnis ist ein UC‑gauge‑konsistenter Steepest‑Descent‑ und Backpropagation‑Ansatz, der die Optimierung stabiler und weniger abhängig von der gewählten Parameterisierung macht. Dieser Ansatz bietet eine elegante und praktische Lösung, um die inhärente Symmetrie von Deep‑Learning‑Modellen zu nutzen und gleichzeitig die Effizienz und Robustheit der Lernalgorithmen zu verbessern.