Privates Zeroth-Order-Optimieren mit öffentlichen Daten: Mehr Effizienz und Privatsphäre

Die Umsetzung von populären, first‑order, differenziell privaten Lernalgorithmen wie DP‑SGD ist oft mit hohen Rechen- und Speicheraufwand verbunden, obwohl es bereits optimierte Implementierungen gibt. Zeroth‑Order‑Methoden versprechen, diesen Overhead zu reduzieren, indem sie Funktionsauswertungen nutzen, um Gradienten zu approximieren – ein Ansatz, der wesentlich einfacher zu privatieren ist.

Frühere Arbeiten haben zeroth‑order Ansätze sowohl in privaten als auch in nicht‑privaten Kontexten untersucht, konnten jedoch bislang keine vergleichbare Leistung wie DP‑SGD erzielen und wurden nur in begrenzten Anwendungsbereichen getestet.

In der vorliegenden Studie wird ein neuer Ansatz vorgestellt, bei dem öffentliche Daten zur Verbesserung der Gradienten­approximation in privaten zeroth‑order Algorithmen eingesetzt werden. Das Framework, genannt PAZO (Public‑Data‑Assisted Zeroth‑Order), arbeitet mit minimalem Overhead und nutzt die Ähnlichkeit zwischen öffentlichen und privaten Datensätzen als Grundlage.

Theoretische Analysen zeigen, dass PAZO unter dieser Annahme stabile und effiziente Optimierungen ermöglicht. Empirisch demonstriert die Methode über verschiedene Vision‑ und Textaufgaben hinweg – sowohl im Pre‑Training als auch im Fine‑Tuning – deutlich bessere Trade‑offs zwischen Privatsphäre und Nutzen. Besonders in stark privaten Regimen übertrifft PAZO die besten first‑order Baselines, die ebenfalls öffentliche Daten nutzen, und bietet gleichzeitig bis zu sechzehnfachen Laufzeit‑Speedup.