PS-LoRA: Konflikte im lebenslangen Lernen durch Subraum‑Ausrichtung lösen

Die neue Methode PS-LoRA löst ein langjähriges Problem im kontinuierlichen Lernen: das katastrophale Vergessen, das bei Low‑Rank‑Adaptation (LoRA) häufig auftritt. Forscher haben herausgefunden, dass die Hauptursache darin liegt, dass neue Aufgabengradienten in entgegengesetzte Richtungen der bisherigen Gewichtsentwicklung gehen und so destruktive Interferenzen erzeugen.

PS-LoRA begegnet diesem Problem, indem es die Updates innerhalb des Optimierungs‑Subraums ausrichtet. Ein duales Regularisierungsziel bestraft widersprüchliche Richtungen und begrenzt gleichzeitig die Magnitudendifferenzen, sodass die neuen Anpassungen mit dem bereits Gelernten in Einklang bleiben.

Zusätzlich nutzt die Technik eine magnitudenbasierte Merge‑Strategie, die aufeinanderfolgende Adapter zu einer stabilen Repräsentation zusammenführt – und das ohne erneutes Training. In umfangreichen NLP‑ und Vision‑Benchmarks übertrifft PS-LoRA aktuelle Spitzenmethoden, indem es die Stabilität der erlernten Modelle bewahrt und gleichzeitig effizient neue Domänen integriert.