FFT-MoE: Sparsere Mixture-of-Experts für effizientes Federated Fine‑Tuning

Mit dem Aufkommen von Foundation Models (FMs) rückt die Frage nach einer datenschutzfreundlichen und ressourcenschonenden Feinabstimmung immer stärker in den Fokus. Das neue Verfahren FFT‑MoE bietet dafür eine überzeugende Lösung: anstelle der üblichen Low‑Rank‑Adaptation (LoRA) setzen die Autoren auf sparsere Mixture‑of‑Experts‑Adapter. Jeder Edge‑Client trainiert dabei ein leichtgewichtiges Gating‑Netz, das gezielt ein persönliches Subset an Experten aktiviert. So lässt sich die Modellanpassung exakt an die lokalen Rechen- und Speicherbeschränkungen anpassen, ohne die Aggregationsfähigkeit zu gefährden.

Ein zentrales Problem heterogener Federated‑Learning‑Umgebungen – die Ungleichverteilung der Expertennutzung durch unterschiedliche Geräte und Datenverteilungen – wird durch einen neu entwickelten, heterogenitätsbewussten Hilfsverlust adressiert. Dieser Loss reguliert dynamisch die Routing‑Verteilung, fördert die Vielfalt der Experten und sorgt für eine ausgeglichene Auslastung. Damit wird die Konvergenz in nicht‑IID‑Szenarien deutlich verbessert.

Umfangreiche Experimente, die sowohl IID‑ als auch stark heterogene Daten umfassen, zeigen, dass FFT‑MoE die bisherigen FFT‑Baselines konsequent übertrifft. Das Ergebnis ist ein robustes, skalierbares Fine‑Tuning‑Framework, das die Leistungsfähigkeit von Foundation Models unter den realen Bedingungen von Edge‑Geräten maximiert.