KI News: Kurz und klar.

In einer neuen Studie wird aufgezeigt, wie die gängige Technik der differenziellen Privatsphäre – DP‑SGD – das Lernen seltener, aber wichtigen Daten in KI‑Modellen erschwert.

In einer neuen Studie aus dem arXiv wird deutlich, dass das derzeit am häufigsten eingesetzte Verfahren für privates maschinelles Lernen – Differentially Private Stochastic Gradient Descent (DP‑SGD) – fundamentale Grenzen hat, wenn es um die Balance zwischen Datenschutz und Modellqualität geht. Die Autoren analysieren DP‑SGD im Rahmen des f‑Differential‑Privacy-Modells, das die Privatsphäre anhand von Hypothesen‑Test‑Trade‑Off‑Kurven beschreibt, und untersuchen das Shuffled‑Sampling über einen einzelnen Trainingsdurchlauf mit M Gradientenupdates.

Eine aktuelle Veröffentlichung auf arXiv beleuchtet die Laufzeitkosten, die mit der Anwendung von Differential Privacy (DP) in der Optimierung von Lipschitz-konvexen Verlustfunktionen einhergehen. Der Fokus liegt dabei auf der Anzahl der ersten‑Ordnung‑Orakel‑Abfragen, die nötig sind, um einen gewünschten Fehler­grad zu erreichen.

Die Umsetzung von populären, first‑order, differenziell privaten Lernalgorithmen wie DP‑SGD ist oft mit hohen Rechen- und Speicheraufwand verbunden, obwohl es bereits optimierte Implementierungen gibt. Zeroth‑Order‑Methoden versprechen, diesen Overhead zu reduzieren, indem sie Funktionsauswertungen nutzen, um Gradienten zu approximieren – ein Ansatz, der wesentlich einfacher zu privatieren ist.

Der Schutz sensibler Trainingsdaten ist in der datenschutzorientierten KI von entscheidender Bedeutung. In vielen Praxisfällen muss jedoch nur ein Teil der Features geschützt werden – etwa demografische Angaben in Intensivdaten, die ein hohes Re‑Identifikationsrisiko bergen, während Laborwerte weniger sensibel sind. Traditionelle DP‑SGD‑Ansätze schützen sämtliche Features gleichzeitig, was zu übermäßiger Rauschzufuhr und erheblichem Nutzenverlust führt.