Neue Angriffsmethode deckt Datenschutzrisiken im Federated RL auf

Federated Reinforcement Learning (FRL) ermöglicht es, optimale Entscheidungsstrategien zu erlernen, ohne dass lokale Daten preisgegeben werden. Stattdessen werden lediglich Gradienten zwischen den Teilnehmern ausgetauscht. Doch diese Praxis birgt ein bislang unterschätztes Risiko: Angreifer können die geteilten Gradienten nutzen, um die ursprünglichen Trainingsdaten zu rekonstruieren.

Im Gegensatz zu klassischem federated learning, wo die Rekonstruktion meist nur die Gradientenabgleichung erfordert, muss bei FRL zusätzlich die reale Übergangsdynamik des Umfelds berücksichtigt werden. Nur so lässt sich sicherstellen, dass die wiederhergestellten Daten die tatsächlichen Zustands- und Belohnungsverteilungen widerspiegeln.

Um dieses Problem anzugehen, wurde die Regularization Gradient Inversion Attack (RGIA) entwickelt. Die Methode integriert vorab vorhandenes Wissen über Zustände, Belohnungen und Übergangsdynamiken als Regularisierung in den Optimierungsprozess. Dadurch wird der Lösungsraum von unplausiblen Kandidaten auf ein enges Subset beschränkt, das sowohl die Gradienten als auch die echten Übergangsdynamiken erfüllt.

Die Autoren zeigen theoretisch, dass die prior‑knowledge‑basierte Regularisierung die Anzahl möglicher Lösungen drastisch reduziert. In umfangreichen Experimenten – darunter klassische Kontrollaufgaben und autonome Fahrtests – konnte RGIA erfolgreich die Übergangsdynamiken rekonstruieren und damit private lokale Daten aus den geteilten Gradienten extrahieren.

Diese Erkenntnisse unterstreichen die Notwendigkeit, bei Federated Reinforcement Learning zusätzliche Schutzmechanismen einzuführen, um die Privatsphäre der beteiligten Systeme zu gewährleisten.