Shampoo-Optimierer: Stochastische Anpassung des Spektralabstiegs
Neuer Forschungsbericht auf arXiv zeigt, dass der Optimierer Shampoo, der die Matrixstruktur von neuronalen Netzwerken nutzt, deutlich dateneffizienter arbeitet als elementweise Verfahren wie Adam oder Signum. Durch um…