LoRA trotzt Etikettenschmutz: Theorie erklärt robuste Feinabstimmung

Parameter‑effiziente Feinabstimmungsverfahren wie Low‑Rank Adaptation (LoRA) haben sich zum Standard für die Anpassung großer vortrainierter Modelle entwickelt. In einer neuen Studie wird ein theoretisches Rahmenwerk vorgestellt, das die bislang wenig verstandene Eigenschaft von LoRA erklärt: seine inhärente Widerstandsfähigkeit gegen Label‑Noise.

Die Analyse liefert drei zentrale Erkenntnisse. Erstens wird gezeigt, dass ein rank‑r‑LoRA nicht mehr alle möglichen Label‑Zuweisungen memorieren kann, sobald die Stichprobengröße die Grenze von O(r(d+k−r)) überschreitet. Dadurch wird die Kapazität, beliebigen Rauschen zu folgen, begrenzt. Zweitens wird ein optimaler Rang bestimmt, der Bias und durch Rauschen induzierte Varianz ausbalanciert – dieser Rang sinkt mit steigender Rauschrate. Drittens wird eine zeitliche Trennung nachgewiesen: saubere Muster werden früh gelernt, während die Memorierung von Rauschen erst später einsetzt.

Auf Basis dieser Einsichten wird RACT (Rank‑Aware Curriculum Training) vorgeschlagen, das Rang‑Diskrepanzen nutzt, um Rauschen zu erkennen. Experimente bestätigen die theoretischen Vorhersagen: RACT erzielt 91,1 % F1‑Score bei der Rauschdetektion auf AG News und hält gleichzeitig 91,46 % Genauigkeit, was mit Baselines vergleichbar ist, die keine Rauschdetektion implementieren.