ILoRA: Federated Learning mit Low‑Rank Adaptation für heterogene Clients

Die neue Methode ILoRA löst drei zentrale Probleme des Federated Learning mit Low‑Rank Adaptation (LoRA), die bei heterogenen Clients auftreten. Zunächst verhindert eine QR‑basierte orthonormale Initialisierung Instabilitäten, die durch zufällige Startwerte entstehen und die Subräume der Clients verzerren. Anschließend adressiert der Concatenated‑QR‑Aggregation-Mechanismus das Problem der Ranginkompatibilität: Durch das Aneinanderhängen und anschließende Zerlegen der LoRA‑Parameter werden unterschiedliche Ränge konsolidiert, ohne Informationen zu verlieren und die Dimensionen auszugleichen. Schließlich reduziert ein AdamW‑Optimierer mit rank‑sensitiven Kontrollvariablen den Client‑Drift, der bei nicht‑IID‑Daten die Generalisierung beeinträchtigt.

ILoRA bietet theoretische Konvergenzgarantien und wurde in umfangreichen Experimenten auf Bild‑ und Sprachverarbeitungs‑Benchmarks getestet. Die Ergebnisse zeigen, dass ILoRA die Genauigkeit und Stabilität der Konvergenz gegenüber bestehenden Federated‑LoRA‑Methoden deutlich verbessert.