Federated Alignment: Neue Methode für heterogene Vision‑Language‑Modelle

Vision‑Language‑Modelle (VLMs) versprechen enorme Fortschritte in sensiblen Bereichen wie Medizin und Finanzen. Doch die strengen Datenschutzbestimmungen machen ein zentrales Training unmöglich. Durch Federated Learning (FL) kann das Training dezentralisiert werden, doch die große Vielfalt an Rechenressourcen, Anwendungsfällen und Modellarchitekturen erschwert die Praxis.

Die neue Arbeit schlägt vor, nicht mehr Daten, sondern Modellparameter zu tauschen, sondern Parameter durch individuelle Präferenzen auszutauschen – ein Ansatz, der sowohl skalierbarer als auch datenschutzfreundlicher ist. Das vorgeschlagene Framework, MoR, nutzt ein Grundmodell als KL‑regularisierte Referenz und lässt jedes Gerät lokal ein Belohnungsmodell aus eigenen Präferenz‑Annotationen trainieren. So werden spezifische Bewertungssignale erfasst, ohne Rohdaten preiszugeben.

Um die unterschiedlichen Belohnungen zu harmonisieren, wird ein routingsbasiertes Fusionsverfahren eingesetzt, das die Signale adaptiv zusammenführt. Der Server führt anschließend ein GRPO‑Optimierung mit dem gemischten Belohnungsfeedback durch, um das Basis‑VLM zu verbessern. Experimente an drei öffentlichen VQA‑Benchmarks zeigen, dass MoR die bestehenden federated‑Alignment‑Baselines in Bezug auf Generalisierung, Robustheit und Anpassungsfähigkeit übertrifft.

MoR bietet damit eine skalierbare Lösung für die datenschutzkonforme Ausrichtung heterogener VLMs in federated Settings und eröffnet neue Möglichkeiten für den Einsatz von KI in Bereichen, in denen Datenverteilung stark eingeschränkt ist.