FedReFT: Federated Representation Fine‑Tuning mit All‑But‑Me Aggregation
Die neue Methode FedReFT bringt Parameter‑Effizientes Fine‑Tuning (PEFT) in die Welt des Federated Learning (FL) und setzt dabei auf die vielversprechende Technik der Representation Fine‑Tuning (ReFT). Während klassische PEFT‑Ansätze die Gewichte eines Modells anpassen, manipuliert ReFT direkt die versteckten Repräsentationen, die reich an semantischen Informationen sind. FedReFT erweitert dieses Konzept, indem es gezielte, spärliche Interventionsschichten einsetzt, die die versteckten Zustände der Modelle steuern und damit eine leichte, aber semantisch starke Anpassung ermöglichen – ideal für Edge‑Geräte mit begrenzten Ressourcen.
