LoDA: Task‑gesteuerte Subspace‑Dekomposition steigert LoRA‑CL

In der Forschung zum kontinuierlichen Lernen (CL) hat sich Low‑Rank Adaptation (LoRA) als vielversprechende Methode etabliert, die Modelle effizient an neue Aufgaben anpassen lässt, ohne bereits erworbenes Wissen zu verlieren. Doch bisherige LoRA‑basierte Ansätze trennen die Update‑Räume der Aufgaben meist ausschließlich über die Null‑Räume vergangener Aufgaben. Dadurch werden wichtige gemeinsame Richtungen übersehen und die eigentlichen, für neue Aufgaben relevanten, task‑spezifischen Richtungen bleiben oft ungenutzt.

Um diese Lücken zu schließen, präsentiert die neue Studie die Low‑rank Decomposition and Adaptation (LoDA). Der Ansatz nutzt eine projektionsbasierte Energie‑Analyse, um für jede Aufgabe zwei getrennte Subräume zu bestimmen: einen für den Wissensaustausch und einen für die Isolation. Durch die Lösung zweier energiebasierter Optimierungsaufgaben werden die Richtungen für geteiltes Wissen und für task‑spezifische Anpassungen sauber voneinander getrennt.

LoDA fixiert die Down‑Projektionen auf beiden Subräumen und lernt robuste Up‑Projektionen mittels einer Gradient‑Aligned Optimization (GAO). Nach Abschluss jeder Aufgabe führt LoDA eine geschlossene Re‑Kalibrierung durch, die die allgemeine Update‑Richtung auf ein feature‑level‑optimales Ergebnis abstimmt. Die Experimente zeigen, dass LoDA bestehende CL‑Methoden deutlich übertrifft und damit einen wichtigen Schritt für die Praxis des kontinuierlichen Lernens darstellt.