X‑SAM: Optimiert SAM durch Eigenvektor‑Korrektur für bessere Generalisierung
Sharpness‑Aware Minimization (SAM) wurde entwickelt, um die Generalisierung von neuronalen Netzen zu verbessern, indem es den Verlust in einem kleinen Parameter‑Umfeld minimiert. In der Praxis kann SAM jedoch nicht immer die erwarteten Ergebnisse liefern, weil sowohl scharfe als auch flache Regionen einen niedrigen perturbed loss erzeugen können. In solchen Fällen zeigt der Gradientenvektor häufig noch auf scharfe Bereiche, wodurch die eigentliche Regularisierung von SAM geschwächt wird.
Die neue Arbeit betrachtet SAM aus einer spektralen und geometrischen Perspektive. Dabei wird der Winkel zwischen dem Gradienten und dem führenden Eigenvektor der Hesse‑Matrix als Maß für die Schärfe herangezogen. Die Analyse zeigt, dass SAM‑Effekte bereits dann abnehmen, wenn dieser Winkel 90° oder kleiner ist.
Um dieses Problem zu beheben, wird X‑SAM vorgestellt – eine explizit eigenvektor‑ausgerichtete Variante von SAM. X‑SAM korrigiert den Gradienten durch eine orthogonale Zerlegung entlang des Top‑Eigenvektors, wodurch die Regularisierung des größten Eigenwerts der Hesse‑Matrix direkter und effizienter wirkt.
Die Autoren beweisen die Konvergenz von X‑SAM und demonstrieren, dass es zu einer verbesserten Generalisierung führt. Umfangreiche Experimente bestätigen sowohl die theoretischen Vorhersagen als auch die praktischen Vorteile gegenüber dem klassischen SAM‑Ansatz.