PARSE: Neuer Ansatz für dezentrale multimodale Federated Learning ohne Server

In der Welt des dezentralen Federated Learning (DFL) stellen heterogene Agenten, die unterschiedliche Modalitäten und Modelle besitzen, ein großes Problem dar: Sie müssen ohne zentralen Koordinator über Peer‑to‑Peer‑Netzwerke zusammenarbeiten. Traditionelle multimodale Pipelines erzeugen dabei eine einzige, gemeinsame Einbettung, die zu Gradientenkonflikten zwischen ein‑ und multimodalen Agenten führt und die Interaktion zwischen Modalen stark einschränkt.

Der neue Ansatz PARSE löst dieses Dilemma, indem er Partial Information Decomposition (PID) in einer server‑freien Umgebung einsetzt. Jeder Agent zerlegt seine latente Repräsentation in redundante, einzigartige und synergistische Slices. Durch slice‑level Partial Alignment tauschen Agenten nur die semantisch austauschbaren Teile aus, die sie gemeinsam besitzen. So wird die Notwendigkeit für zentrale Koordination und Gradient Surgery eliminiert.

Tests an verschiedenen Benchmarks und Agentenmischungen zeigen, dass PARSE konsequente Verbesserungen gegenüber herkömmlichen DFL‑Baselines erzielt – sowohl bei Aufgaben‑, Modalitäts‑ als auch bei Hybrid‑Sharing‑Modellen. Ablationsstudien zu Fusion‑Operatoren und Split‑Raten sowie qualitative Visualisierungen unterstreichen die Effizienz und Robustheit des neuen Designs.