Neues Konzept: Asymmetrische LoRA-Strategien verbessern LLM-Fine‑Tuning

In einer aktuellen Veröffentlichung auf arXiv wird die gängige Praxis des Parameter‑Effizienten Fine‑Tunings von großen Sprachmodellen (LLMs) hinterfragt. Traditionell werden bei Multi‑Adapter‑Ansätzen mehrere Low‑Rank Adaptations‑Module (LoRAs) eingesetzt, wobei die inneren Matrizen A häufig stark ähnlich erscheinen.

Die Autoren zeigen, dass diese Ähnlichkeit größtenteils auf die identische Initialisierung zurückzuführen ist und nicht auf geteiltes Wissen. Stattdessen spielt die Matrix B eine entscheidendere Rolle bei der Codierung und Übertragung von Wissen zwischen den Adaptern.

Auf dieser Erkenntnis basierend stellen sie ALoRA vor – ein asymmetrisches Multi‑LoRA‑Design, das mehrere unabhängige A‑Matrizen mit einer einzigen, gemeinsam genutzten B‑Matrix kombiniert. Dieses Vorgehen ermöglicht eine flexiblere Anpassung an unterschiedliche Aufgaben, ohne die Vorteile der Parameter‑Effizienz zu verlieren.

Für federated‑Learning‑Umgebungen wird die Variante Fed‑ALoRA entwickelt. Hier wird die B‑Matrix über alle Clients hinweg geteilt, während die A‑Matrizen individuell bleiben. Durch eine neuartige Matrix‑Decomposition können heterogene Ränge zwischen den Clients berücksichtigt werden, was sowohl homogene als auch heterogene Settings unterstützt.

Experimentelle Tests auf Datensätzen für Commonsense‑Reasoning, Mathe‑Reasoning, Multi‑Task‑NLP und federated NLP zeigen, dass ALoRA und Fed‑ALoRA eine ausgewogenere Leistung über die Aufgaben hinweg erzielen und dabei im Durchschnitt die Genauigkeit bestehender Multi‑LoRA‑Ansätze erreichen oder übertreffen. Der Quellcode ist unter https://github.com/OptMN-Lab/ALoRA verfügbar.