DPSGD verbessert: Probenmomentum & Tiefpassfilter steigern Genauigkeit

In einer neuen Veröffentlichung auf arXiv wird ein innovativer Ansatz vorgestellt, der die Leistung von Differentially Private Stochastic Gradient Descent (DPSGD) deutlich steigert. Der Beitrag präsentiert „DP‑PMLF“, eine Methode, die per‑Sample-Momentum mit einer Tiefpassfilter‑Strategie kombiniert, um gleichzeitig das Rauschen der Differential Privacy (DP) und den Clip‑Bias zu reduzieren.

Durch die Anwendung von Momentum auf einzelne Stichproben werden die Gradienten vor dem Clipping geglättet, was die Stichprobenvarianz senkt. Anschließend filtert ein post‑processing‑Tiefpassfilter hochfrequentes DP‑Rauschen heraus, ohne zusätzlichen Privatsphäre‑Budget zu verbrauchen. Diese Kombination führt zu einer verbesserten Konvergenzrate, wie die theoretische Analyse belegt.

Experimentelle Ergebnisse zeigen, dass DP‑PMLF die Balance zwischen Privatsphäre und Modellgenauigkeit gegenüber mehreren aktuellen DPSGD‑Varianten deutlich verbessert. Der Ansatz bietet damit einen vielversprechenden Weg, um die Nachteile von DP in tiefen neuronalen Netzwerken zu mildern und gleichzeitig robuste Datenschutzgarantien zu gewährleisten.