DP-AdamW: Neue Optimierer für privates Deep Learning zeigen überlegene Leistung
In einer Zeit, in der Deep‑Learning‑Modelle immer häufiger sensible Daten verarbeiten, bietet Differential Privacy (DP) formale Garantien gegen Informationslecks während des Trainings. Ein zentrales Problem bleibt jedoch die Entwicklung von DP‑Optimierern, die gleichzeitig hohe Leistung und starke Privatsphäre gewährleisten. Der neue Ansatz DP‑AdamW nutzt den beliebten AdamW‑Optimierer, der für seine robuste empirische Performance bekannt ist, und integriert DP‑Sicherheit.
Die Autoren stellen zusätzlich DP‑AdamW‑BC vor, eine DP‑variante von AdamW mit Bias‑Correction für den zweiten Moment‑Estimator. Für beide Optimierer liefern sie theoretische Ergebnisse zu Privatsphäre‑ und Konvergenzgarantien, die die Grundlage für die anschließende empirische Analyse bilden.
In Experimenten mit verschiedenen Privatsphäre‑Budgets (ε = 1, 3, 7) übertrifft DP‑AdamW bestehende state‑of‑the‑art‑Optimierer wie DP‑SGD, DP‑Adam und DP‑AdamBC deutlich. Auf Text‑Klassifikationsaufgaben erzielt DP‑AdamW mehr als 15 % höhere Genauigkeit, bei Bild‑Klassifikationen bis zu 5 % und bei Graph‑Knoten‑Klassifikationen konstant 1 % besser. Diese Ergebnisse zeigen, dass DP‑AdamW die Leistung von privaten Modellen signifikant steigern kann.
Interessanterweise führt die Bias‑Correction in DP‑AdamW‑BC zu einer konsistenten Genauigkeitsreduktion, im Gegensatz zur Verbesserung von DP‑AdamBC gegenüber DP‑Adam. Dies verdeutlicht, dass die Einführung von Bias‑Correction in privaten Optimierern nicht automatisch zu besseren Ergebnissen führt und sorgfältig abgewogen werden muss.
Zusammenfassend setzt DP‑AdamW neue Maßstäbe für private Deep‑Learning‑Optimierer, während DP‑AdamW‑BC wichtige Einblicke in die Grenzen von Bias‑Correction in DP‑Kontexten liefert. Die Studie liefert sowohl theoretische als auch praktische Erkenntnisse, die die Entwicklung effizienter, privater Lernalgorithmen vorantreiben.