Federated Learning: Bewertung von Zuverlässigkeit, Resilienz und Fairness

Federated Learning bietet ein datenschutzfreundliches Modell für gemeinsames Lernen, doch der Erfolg hängt entscheidend von den Beiträgen der einzelnen Teilnehmer ab. Bisher konzentrieren sich die Bewertungskriterien fast ausschließlich auf klassische Leistungsmaße wie Genauigkeit oder Verlust. In dieser neuen Studie wird ein bislang vernachlässigtes Thema aufgegriffen: die Beiträge der Clients zur Vertrauenswürdigkeit des Modells – insbesondere zur Zuverlässigkeit, Resilienz und Fairness.

Die Autoren nutzen die modernste Approximation des Shapley-Werts, um die Mehrwertbeiträge jedes Clients in diesen drei Dimensionen zu quantifizieren. Dabei wird die Zuverlässigkeit als Toleranz gegenüber verrauschten Daten, die Resilienz als Widerstandsfähigkeit gegen adversariale Angriffe und die Fairness über demografische Parität gemessen.

Die Ergebnisse zeigen, dass kein einzelner Client in allen drei Bereichen herausragt. Die drei Dimensionen wirken sich weitgehend unabhängig voneinander aus, was die Schwächen herkömmlicher Evaluationsansätze deutlich macht. Ein einzelnes Messkriterium reicht also nicht aus, um die Gesamtleistung eines Federated‑Learning‑Systems umfassend zu bewerten oder faire Belohnungen zu vergeben.

Die Arbeit unterstreicht die Notwendigkeit, multifunktionale Bewertungsframeworks zu entwickeln, die sowohl die Performance als auch die Vertrauenswürdigkeit eines Modells berücksichtigen. Nur so kann die Zusammenarbeit im Federated Learning wirklich gerecht und effektiv gestaltet werden.