FedRot-LoRA: Rotation ausgleichen, Federated LoRA stabilisieren
Federated LoRA hat sich als effiziente Methode etabliert, um große Sprachmodelle auf dezentralen Daten zu verfeinern. In der Praxis führt die faktorenweise Mittelung, die die niedrige Rangstruktur bewahren soll, jedoch…
- Federated LoRA hat sich als effiziente Methode etabliert, um große Sprachmodelle auf dezentralen Daten zu verfeinern.
- In der Praxis führt die faktorenweise Mittelung, die die niedrige Rangstruktur bewahren soll, jedoch zu erheblichen Aggregationsfehlern und instabilem Training.
- Der Hauptgrund dafür ist die Rotationsfehljustierung, die aus der Rotationsinvarianz niedriger Rang‑Faktorisierungen entsteht: semantisch äquivalente Updates können bei…
Federated LoRA hat sich als effiziente Methode etabliert, um große Sprachmodelle auf dezentralen Daten zu verfeinern. In der Praxis führt die faktorenweise Mittelung, die die niedrige Rangstruktur bewahren soll, jedoch zu erheblichen Aggregationsfehlern und instabilem Training. Der Hauptgrund dafür ist die Rotationsfehljustierung, die aus der Rotationsinvarianz niedriger Rang‑Faktorisierungen entsteht: semantisch äquivalente Updates können bei verschiedenen Clients in unterschiedlichen latenten Teilräumen dargestellt werden, sodass ihre direkte Mittelung destruktiv interferiert.
FedRot-LoRA löst dieses Problem, indem es die lokalen Updates vor der Aggregation durch orthogonale Transformationen ausrichtet. Diese Ausrichtung bewahrt die semantische Integrität der Updates, reduziert die Subraum‑Diskrepanz zwischen Clients und verbessert die globale Aktualisierung, ohne zusätzliche Kommunikationskosten oder Einschränkungen der Modellausdruckskraft einzuführen.
Eine theoretische Konvergenzanalyse zeigt, dass die Rotationsausrichtung die obere Schranke des Aggregationsfehlers deutlich straffer macht. Umfangreiche Experimente in Bereichen des natürlichen Sprachverständnisses und generativer Aufgaben demonstrieren, dass FedRot-LoRA bestehende Federated‑LoRA‑Baselines über alle getesteten Heterogenitäts‑ und Rang‑Stufen hinweg konsequent übertrifft.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.