<strong>Differenzielle Privatsphäre kostet Laufzeit: Neue Grenzen für private Optimierer</strong>
Eine aktuelle Veröffentlichung auf arXiv beleuchtet die Laufzeitkosten, die mit der Anwendung von Differential Privacy (DP) in der Optimierung von Lipschitz-konvexen Verlustfunktionen einhergehen. Der Fokus liegt dabei auf der Anzahl der ersten‑Ordnung‑Orakel‑Abfragen, die nötig sind, um einen gewünschten Fehlergrad zu erreichen.
Im Fall nicht‑glatter Verluste, bei denen der Optimierer nur über einen privaten Proxy‑Orakel kommuniziert, liefert die Studie einen fundamentalen unteren Grenzwert: die erwartete Laufzeit muss mindestens Ω(min{√d/α², d/ln(1/α)}) betragen, um einen Über‑Risiko‑Wert von α zu erzielen, wenn die Dimension d mindestens 1/α² beträgt. Für große Dimensionen (d > ~Ω(1/α⁴)) zeigen DP‑SGD‑Algorithmen, dass dieser Grenzwert tatsächlich erreicht werden kann, was die Tightness bestätigt.
Eine weitere Erweiterung berücksichtigt Mini‑Batch‑Größen m̄ < √d. Hier wird die Laufzeit nach unten durch Ω(min{d/(m̄ α²), d/ln(1/α)}) begrenzt, was die Abhängigkeit von der Batch‑Größe deutlich macht.
Für glatte Verluste, bei denen die private Orakel‑Annahme aufgehoben wird, ergibt sich ein anderer, nahezu optimaler Unterschrankenwert: die erwartete Anzahl der Orakel‑Aufrufe ist mindestens Ω(√d/α + min{1/α², n}), wobei n die Stichprobengröße ist. Anpassungen bestehender Algorithmen zeigen, dass dieser Wert praktisch erreicht werden kann.
Im Vergleich zu nicht‑privaten Optimierungsalgorithmen verdeutlichen die Ergebnisse, dass DP‑Optimierer einen dimensionsabhängigen Laufzeitnachteil tragen. Diese Erkenntnisse liefern wichtige Richtlinien für die Entwicklung effizienterer privater Lernalgorithmen.
Die angewandte Beweistechnik eröffnet zudem neue Möglichkeiten, ähnliche Laufzeitunterschranken für nicht‑glatte Verluste zu etablieren, was die Forschung im Bereich privater Optimierung weiter vorantreibt.