Stochastischer Gauss-Newton-Optimierer zeigt neue Generalisierungsgrenzen
In einer aktuellen Veröffentlichung auf arXiv wird ein stochastischer Gauss-Newton-Algorithmus (SGN) vorgestellt, der mit Levenberg–Marquardt‑Dämpfung und Mini‑Batch‑Sampling arbeitet. Der Ansatz richtet sich gezielt an überparametrisierte tiefe neuronale Netze mit glatten Aktivierungsfunktionen im Regressionsbereich.
