Naive LoRA‑Summation: Orthogonalität nutzt effizientes Modulare Lernen

In der aktuellen Forschung zu großen Sprachmodellen wird deutlich, dass der Fortschritt vor allem durch die Skalierung der Modelle vorangetrieben wird. Gleichzeitig ermöglicht Parameter‑Effizientes Fine‑Tuning (PEFT), nur einen kleinen Bruchteil der Parameter zu aktualisieren. Low‑Rank Adaptation (LoRA) speichert die Parameteränderungen als Produkt zweier kleiner Matrizen, wodurch sie sich zu natürlichen Bausteinen zusammenfügen lassen.

Die Autoren gehen davon aus, dass LoRA‑Module, die unabhängig auf unterschiedlichen Domänen trainiert wurden, nahezu orthogonal zueinander sind. Durch die einfache Addition dieser Module soll ein neues Modell entstehen, das die Leistungen der einzelnen Domänen kombiniert. Auf dem GPT‑2 Small (117 M) mit LoRA‑Rank 4 und Alpha 64 wurden Adapters für drei Frage‑Antwort‑Domänen – Mathematik, Medizin und Finanzen – trainiert.

Die Ergebnisse zeigen, dass die Kombination von Math‑ und Medicine‑Adapters die Perplexität um 9,10 % im Vergleich zu einer einheitlichen Feinabstimmung senkt, während die Kombinationen Math‑Finance und Finance‑Medicine die Perplexität um 4,54 % bzw. 27,56 % erhöhen. Der RMS‑Kosinus‑Ähnlichkeitswert zwischen den LoRA‑Deltas korreliert positiv und nahezu linear mit der Veränderung der Perplexität. Die naive Summation erfordert keine zusätzliche Schulung, kann in Sekunden durchgeführt werden und erreicht Leistungen, die denen von Modellen entsprechen, die auf zusammengeführten Daten trainiert wurden. Gleichzeitig liefert sie Einblicke, wann Interferenzen bei höheren Kompositionen auftreten.