Effizientes Federated Recommendation: Plug-and-Play PEFT für Embeddings

Mit der zunehmenden Verbreitung von Cloud‑Edge‑Kollaborationen werden Empfehlungssysteme vermehrt in verteilten Umgebungen trainiert. Federated Recommendation (FR) ermöglicht dabei eine kollaborative Schulung an mehreren Endgeräten, während die Privatsphäre gewahrt bleibt, indem Modellparameter statt Rohdaten ausgetauscht werden. Ein großes Problem ist jedoch die enorme Anzahl an Parametern, insbesondere die massiven Item‑Embeddings, die die Kommunikationskosten stark erhöhen.

Um dieses Engpass zu beheben, stellt die neue Studie ein FR‑Trainingsframework vor, das Parameter‑Effizientes Fine‑Tuning (PEFT) für Embeddings nutzt. Das Ergebnis ist eine leichtgewichtige, plug‑and‑play Lösung, die nahtlos in bestehende FR‑Methoden integriert werden kann. Neben klassischen PEFT‑Techniken wie LoRA und Hash‑Encoding wird zudem die Verwendung von Residual Quantized Variational Autoencoders (RQ‑VAE) als innovative PEFT‑Strategie untersucht.

Umfangreiche Experimente mit verschiedenen FR‑Backbones und Datensätzen zeigen, dass das Framework die Kommunikationslast deutlich reduziert und gleichzeitig die Genauigkeit verbessert. Der Quellcode ist frei verfügbar unter https://github.com/young1010/FedPEFT.