Shampoo-Optimierer: Stochastische Anpassung des Spektralabstiegs

Neuer Forschungsbericht auf arXiv zeigt, dass der Optimierer Shampoo, der die Matrixstruktur von neuronalen Netzwerken nutzt, deutlich daten­effizienter arbeitet als elementweise Verfahren wie Adam oder Signum. Durch umfangreiche Experimente mit Sprachmodellen konnte nachgewiesen werden, dass Shampoo im Vergleich zu Muon – einem weiteren Matrix‑Optimierer – eine höhere Token‑Effizienz erzielt, ähnlich wie Adam gegenüber Signum.

Interessanterweise lässt sich die Update‑Regel von Shampoo auf Gewichtsmatrizen in eine angepasste Muon‑Update‑Formel zerlegen. Diese Entdeckung unterstreicht, dass die Vorteile von Shampoo ausschließlich auf die gezielte Behandlung von Gewichtsmatrizen zurückzuführen sind und nicht auf allgemeinere, shapes‑agnostische Interpretationen.

Der Artikel präsentiert zudem einen neuen Blickwinkel auf Spektralabstieg: Statt die Semi‑Orthogonalität der Updates strikt zu erzwingen, wie es bei klassischen Spektralabstiegsverfahren der Fall ist, sind die Shampoo‑Updates im Erwartungswert zeitlich durchschnittlich semi‑orthogonal. Diese Eigenschaft vermeidet die Schwächen von Varianten, die auf Varianz‑Anpassung oder Whitening setzen, und liefert ein robustes, theoretisch fundiertes Optimierungsprinzip.