OvA-LP: Framework reduziert Drift bei Federated Learning auf heterogenen Daten

Ein neues, schlankes Verfahren namens OvA‑LP hat die Art und Weise, wie Federated Fine‑Tuning (FFT) mit stark heterogenen Client‑Daten umgeht, grundlegend verändert. Während herkömmliche Aggregations‑ und Personalisierungsansätze den Drift – die Divergenz der lokalen Updates – erst nachträglich korrigieren, arbeitet OvA‑LP bereits im Kern des PEFT‑basierten FFT‑Paradigmas gegen die Drift an.

Das Konzept kombiniert ein lineares Probing auf einem eingefrorenen Encoder mit einem One‑vs‑All‑Head und einem einfachen zweistufigen Verfahren. Dadurch bleibt die geometrische Struktur der vortrainierten Features erhalten und die Logits werden entkoppelt, was die Mechanismen, die den Drift verstärken, verhindert. Die Methode ist damit besonders robust gegenüber extremen Non‑IID‑Bedingungen.

In umfangreichen Tests auf CIFAR‑100 mit 100 Clients zeigte OvA‑LP beeindruckende Ergebnisse: Im Vergleich zu den besten FFT‑Baselines behält es 95,9 % der IID‑Genauigkeit, während PFPT nur 10,1 % und FFT‑MoE lediglich 34,5 % erreichen. Zusätzlich bleibt OvA‑LP unter symmetrischem und asymmetrischem Label‑Noise stabil. Durch die Vorberechnung der Encoder‑Features wird die Kosten pro Runde nahezu unabhängig von der Encoder‑Größe.

Diese Leistungen demonstrieren, dass OvA‑LP eine solide, effiziente Basis für robustes Federated Fine‑Tuning unter heterogenen Bedingungen bietet und damit einen wichtigen Schritt in Richtung praktischer, verlässlicher verteilter Lernsysteme darstellt.