Recycling LoRAs: Adaptive Merging liefert begrenzte Vorteile

In einer aktuellen Studie zum Thema LoRA‑Recycling haben Forscher die Leistungsfähigkeit adaptiver Merge‑Methoden auf fast 1.000 von Nutzern beigesteuerten LoRAs aus dem Hugging‑Face‑Hub untersucht. Dabei wurden die Module, die auf dem Llama 3.1 8B‑Instruct‑Modell trainiert wurden, als Pool verwendet, um herauszufinden, ob ein gezieltes Zusammenführen von LoRAs die Modellleistung steigern kann.

Die Experimente umfassten sowohl adaptive als auch nicht‑adaptive Merge‑Ansätze sowie eine neu entwickelte Methode, die aus einer umfangreichen Suche im Design‑Raum hervorging. Die Ergebnisse zeigen, dass adaptive Merge‑Techniken das Basismodell verbessern, jedoch nur begrenzte Vorteile gegenüber dem Training einer neuen LoRA auf denselben Daten bieten.

Ein überraschender Befund war, dass die spezifische Auswahl der zu mergenden LoRAs kaum Einfluss auf die Endleistung hat. Sogar LoRAs mit zufällig initialisierten Parametern erzielten vergleichbare Ergebnisse, was auf einen möglichen Regularisierungseffekt hindeutet, statt auf einen echten Cross‑Task‑Transfer.

Die Studie bestätigt jedoch, dass positiver Transfer möglich ist, wenn im Pool hochrelevante LoRAs vorhanden sind. Dies unterstreicht die Bedeutung einer sorgfältigen Auswahl von LoRAs, wenn man von adaptiven Merge‑Strategien profitieren möchte.

Insgesamt liefert die Untersuchung wertvolle Einblicke in die Praxis des LoRA‑Recyclings und legt nahe, dass adaptive Merge‑Methoden zwar nützlich sein können, aber nicht die einzige Lösung für die Optimierung von Sprachmodellen darstellen. Die Ergebnisse geben Forschern und Praktikern klare Richtlinien für den effektiven Einsatz von LoRAs in realen Anwendungen.