Gradient Flow: Schrittweises Lernen bei überparametrisierten Matrizen

Eine neue Veröffentlichung auf arXiv beleuchtet, wie Gradient Flow (GF) bei überparametrisierten Matrix‑Factorisationsproblemen ein schrittweises Lernverhalten zeigt. Das Phänomen, bei dem die Singularwerte einer Zielmatrix in absteigender Reihenfolge erlernt werden, wird hier quantitativ erklärt.

Der Schlüssel liegt in einer geschlossenen Lösung der GF‑Differentialgleichung, die sich als Riccati‑ähnliche Matrix‑Differentialgleichung darstellt. Durch diese Lösung lässt sich das Lernverhalten exakt nachverfolgen und die Zeit‑Skalen der einzelnen Singularwerte unterscheiden.

Die Analyse zeigt, dass bei kleiner Initialisierung die Zeit‑Skalen deutlich auseinanderdriften. Dadurch kann das Modell zunächst die größten Singularwerte erfassen und anschließend schrittweise niedrigere Komponenten integrieren – ein Mechanismus, der zu einer natürlichen Low‑Rank‑Approximation der Zielmatrix führt.

Schließlich werden mögliche Erweiterungen auf asymmetrische Matrix‑Factorisationen skizziert, was die Anwendbarkeit der Methode auf breitere Problemklassen eröffnet.