Geometrische Theorie erklärt Catastrophisches Vergessen bei LoRA

In einer neuen Studie wird gezeigt, dass das Phänomen des katastrophischen Vergessens bei Low‑Rank‑Adaptation (LoRA) durch eine einfache geometrische Regel bestimmt wird. Die Forscher haben die Wechselwirkungen von Gradienten‑Subspaces untersucht und dabei die Formel F = α(1 – cos²θ_min) + β entwickelt, wobei θ_min der kleinste Hauptwinkel zwischen den Subspaces zweier Aufgaben ist.

Die Analyse legt nahe, dass bei großen Subspace‑Winkeln das Vergessen weitgehend unabhängig von der Adapter‑Rangzahl bleibt – ein Phänomen, das als Rang‑Invarianz bezeichnet wird. In kontrollierten synthetischen Tests zeigte sich ein coefficient of variation von nur 0,8 %, während reale Benchmarks einen CV von 10 % bis 19 % aufwiesen, was auf einen regimespezifischen Einfluss hinweist.

Die Theorie wurde erfolgreich auf mehrere Aufgaben angewendet: synthetische Tests mit einer Korrelation von 0,994, Split‑CIFAR100 mit ViT‑LoRA und sequenzielle GLUE‑Aufgaben mit RoBERTa‑LoRA. Die Ergebnisse klären widersprüchliche Befunde in der Literatur auf: Der Rang beeinflusst das Vergessen nur, wenn die Aufgaben‑Subspaces ähnlich sind (kleine Winkel). Bei bereits hoher orthogonaler Trennung, wie bei O‑LoRA, bringt eine orthogonale Methode kaum zusätzlichen Nutzen.

Diese Erkenntnisse liefern klare Richtlinien für die Anwendung von LoRA im kontinuierlichen Lernen und zeigen, wie geometrische Betrachtungen die Entwicklung von robusten, parameter‑effizienten Modellen vorantreiben können.