Differenzielle Privatsphäre in nicht-konvexen, robusten Optimierungsmodellen

In realen Anwendungen treten häufig Datenverzerrungen, Ungleichgewichte zwischen Gruppen und gezielte Störungen auf, die die klassische Methode der empirischen Risiko-Minimierung (ERM) stark beeinträchtigen können. Die distributionell robuste Optimierung (DRO) begegnet diesem Problem, indem sie den schlimmsten erwarteten Verlust über ein Unsicherheitsintervall von Wahrscheinlichkeitsverteilungen optimiert und damit eine robuste Lösung liefert.

Da bei DRO sämtliche Trainingsdaten sensible Informationen enthalten, ist der Schutz dieser Daten durch Differential Privacy (DP) unverzichtbar. Im Gegensatz zu den gut erforschten DP-ERM-Ansätzen hat DP-DRO bisher weniger Beachtung gefunden, weil die Minimax-Optimierung mit Unsicherheitsbeschränkung zusätzliche Komplexität mit sich bringt. Die neue Studie liefert einen umfassenden Überblick über DP-(finite-sum)-DRO mit ψ‑Divergenzen und nicht-konvexen Verlustfunktionen.

Zunächst wird DRO mit einer allgemeinen ψ‑Divergenz als Minimierungsproblem neu formuliert. Darauf aufbauend wird der DP Double-Spider-Algorithmus entwickelt, der ein (ε, δ)-DP-Optimierungsverfahren speziell für diese Struktur darstellt. Unter milden Annahmen erreicht er eine Nutzen­schwelle von O(1/√n + (√(d log(1/δ))/(n ε))^{2/3}) in Bezug auf den Gradienten­norm, wobei n die Stichprobengröße und d die Modelldimension ist.

Für den speziellen Fall der KL‑Divergenz wird das Problem in ein kompositions­basiertes Finite‑Sum‑Optimierungsproblem überführt. Anschließend wird der DP Recursive-Spider-Algorithmus vorgestellt, der die Nutzen­rate weiter verbessert. Diese Fortschritte markieren einen bedeutenden Schritt, um robuste, nicht-konvexe Modelle unter strenger Differential‑Privacy‑Sicherheit effizient zu trainieren.