Naive LoRA‑Summation: Orthogonalität nutzt effizientes Modulare Lernen
In der aktuellen Forschung zu großen Sprachmodellen wird deutlich, dass der Fortschritt vor allem durch die Skalierung der Modelle vorangetrieben wird. Gleichzeitig ermöglicht Parameter‑Effizientes Fine‑Tuning (PEFT), nur einen kleinen Bruchteil der Parameter zu aktualisieren. Low‑Rank Adaptation (LoRA) speichert die Parameteränderungen als Produkt zweier kleiner Matrizen, wodurch sie sich zu natürlichen Bausteinen zusammenfügen lassen.
