SAM in Tensor-Modellen: Norm‑Dynamik enthüllt – DAS verbessert Leistung

Die Optimierungsmethode Sharpness‑Aware Minimization (SAM) hat sich als wirkungsvolle Technik zur Verbesserung der Generalisierung in überparametrisierten Modellen etabliert. Bisher wurde ihr implizites Regularisierungspotenzial jedoch hauptsächlich in einfachen, skalierungsinvarianten Modellen untersucht, während die Wirkung in komplexeren, tensorisierten Strukturen noch wenig beleuchtet wurde.

In der vorliegenden Arbeit wird die Skalierungsinvarianz gezielt genutzt, um die Norm‑Dynamik von SAM in allgemeinen tensorisierten Modellen zu analysieren. Dabei wird der Begriff Norm‑Deviation eingeführt, der die globale Ungleichheit der Kernnormen misst. Durch eine Gradient‑Flow‑Analyse wird die Entwicklung dieser Norm‑Deviation unter SAM abgeleitet, wobei gezeigt wird, dass die Kontrolle der Norm‑Deviation durch die Kovarianz zwischen den Kernnormen und ihren Gradienten­magni­tuden bestimmt wird.

Auf Basis dieser Erkenntnisse wird die Methode Deviation‑Aware Scaling (DAS) vorgestellt. DAS simuliert die implizite Regularisierung von SAM, indem es die Kernnormen daten‑adaptiv skaliert. Die Implementierung ist dabei deutlich kompakter und verursacht weniger Rechenaufwand.

Experimentelle Ergebnisse aus den Bereichen Tensor‑Completion, verrauschte Trainingsdaten, Modell‑Kompression und parameter‑effizientes Fine‑Tuning zeigen, dass DAS die Leistung von SAM gleichwertig oder sogar besser erzielt, während gleichzeitig die Rechenkosten reduziert werden. Diese Befunde legen nahe, dass DAS eine praktikable Alternative für die Optimierung tensorisierter Modelle darstellt.