FedAFD: Multimodales Federated Learning mit adversarial Fusion und Distillation

Ein neues Forschungsprojekt namens FedAFD eröffnet einen vielversprechenden Ansatz für multimodales Federated Learning (MFL). Durch die Kombination von adversarial Fusion und Distillation ermöglicht FedAFD es Clients, die unterschiedliche Datenmodalitäten besitzen, gemeinsam Modelle zu trainieren, ohne ihre Rohdaten preiszugeben. Das Ergebnis ist ein datenschutzfreundliches System, das die komplementären Informationen aus verschiedenen Modalitäten nutzt.

Aktuelle MFL-Methoden stoßen häufig an ihre Grenzen: Sie berücksichtigen kaum die individuellen Leistungsanforderungen der Clients, lassen Modality- und Task-Diskrepanzen unberücksichtigt und gehen nicht ausreichend mit Modellheterogenität um. FedAFD adressiert diese Schwachstellen gezielt.

Auf der Client-Seite führt FedAFD eine bi‑level adversarial Alignment‑Strategie ein, die lokale und globale Repräsentationen innerhalb und zwischen Modalitäten ausgleicht. Zusätzlich wird ein granularity‑aware Fusion‑Modul eingesetzt, das globales Wissen adaptiv in die personalisierten Features integriert. Diese Kombination reduziert Modality‑ und Task‑Lücken und verbessert die individuelle Modellleistung.

Auf der Server-Seite begegnet FedAFD der Modellheterogenität mit einer similarity‑guided Ensemble‑Distillation. Hier werden die Repräsentationen der Clients anhand von Feature‑Ähnlichkeiten auf gemeinsam genutzten öffentlichen Daten aggregiert und das gefusionierte Wissen in das globale Modell distilliert. Dieser Ansatz sorgt für eine robuste und effiziente Server‑Lösung.

Umfangreiche Experimente unter IID‑ und non‑IID‑Bedingungen zeigen, dass FedAFD sowohl für Clients als auch für den Server eine überlegene Leistung und Effizienz erzielt. Die Ergebnisse unterstreichen das Potenzial von FedAFD als zukunftsweisende Lösung für multimodales Federated Learning.