Differenzielle Privatsphäre erschwert das Lernen seltener Daten in KI‑Modellen

In einer neuen Studie wird aufgezeigt, wie die gängige Technik der differenziellen Privatsphäre – DP‑SGD – das Lernen seltener, aber wichtigen Daten in KI‑Modellen erschwert.

Moderne neuronale Netze erreichen ihre beeindruckende Genauigkeit zum Teil, indem sie einzelne Trainingsbeispiele auswendig lernen. Dieses Memorieren wirft erhebliche Datenschutzbedenken auf und hat die breite Einführung von DP‑SGD ausgelöst, das Rauschen in die Gradienten einfügt und sie clippt, um die Privatsphäre zu schützen.

Doch DP‑SGD führt häufig zu schlechteren Vorhersagen, besonders bei sogenannten Long‑Tail‑Datensätzen, in denen seltene oder atypische Beispiele die Mehrheit bilden. Bisher fehlte ein theoretischer Rahmen, der dieses Phänomen erklärt.

Die Autoren entwickeln das erste theoretische Modell, das DP‑SGD auf Long‑Tail‑Daten aus der Sicht des Feature‑Learnings analysiert. Sie zeigen, dass die Testfehler auf der Untergruppe seltener Beispiele deutlich höher sind als der Gesamtergebniswert.

Die Analyse beleuchtet die Trainingsdynamik: Gradient Clipping und Rauschzufuhr wirken zusammen und verringern die Fähigkeit des Modells, informative, aber unterrepräsentierte Muster zu speichern. Die theoretischen Erkenntnisse werden durch umfangreiche Experimente an synthetischen und realen Datensätzen bestätigt.