DP‑SGD: Grenzen zwischen Privatsphäre und Nutzen

In einer neuen Studie aus dem arXiv wird deutlich, dass das derzeit am häufigsten eingesetzte Verfahren für privates maschinelles Lernen – Differentially Private Stochastic Gradient Descent (DP‑SGD) – fundamentale Grenzen hat, wenn es um die Balance zwischen Datenschutz und Modellqualität geht. Die Autoren analysieren DP‑SGD im Rahmen des f‑Differential‑Privacy-Modells, das die Privatsphäre anhand von Hypothesen‑Test‑Trade‑Off‑Kurven beschreibt, und untersuchen das Shuffled‑Sampling über einen einzelnen Trainingsdurchlauf mit M Gradientenupdates.

Ein zentrales Ergebnis ist die Herleitung einer expliziten, aber suboptimalen Obergrenze für die erreichbare Trade‑Off‑Kurve. Daraus folgt ein geometrischer Untergrenze für die Trennung κ, die den maximalen Abstand zwischen der Kurve des Mechanismus und der idealen Zufallsrate misst. Ein großer Abstand bedeutet, dass ein Angreifer einen erheblichen Vorteil erlangen kann – also ein starkes Datenschutzproblem. Um jedoch echte Privatsphäre zu gewährleisten, muss κ klein bleiben.

Die Autoren zeigen, dass die Forderung nach einer kleinen Trennung einen strengen Untergrenze für den Gaußschen Rauschmultiplikator σ auferlegt: σ ≥ 1/√(2 ln M) oder alternativ κ ≥ 1/√8 · (1 – 1/√(4π ln M)). Das bedeutet, dass DP‑SGD unter dem üblichen Worst‑Case‑Adversarial‑Modell nicht gleichzeitig starke Privatsphäre und hohe Modellqualität erreichen kann. Obwohl die Grenze mit wachsendem M asymptotisch verschwindet, geschieht dies extrem langsam – selbst bei praktisch relevanten Updatezahlen bleibt die erforderliche Rauschstärke beträchtlich.

Ein weiteres Ergebnis ist, dass dieselbe Einschränkung auch bei Poisson‑Subsampling gilt, wenn auch mit einem konstanten Faktor. Die Studie liefert damit ein klares Bild davon, warum DP‑SGD in realen Anwendungen oft mit einem Kompromiss zwischen Datenschutz und Nutzen konfrontiert ist, und legt die theoretische Basis für zukünftige Verbesserungen des Algorithmus.