Privatsphäre-geschützte Modelltranskription mit differenzieller privater Synthese

In der Welt des Deep Learning stellen Modelle, die auf sensiblen Daten trainiert wurden, ein erhebliches Risiko dar: Angreifer könnten aus den Modellen wertvolle Informationen oder sogar Kennzahlen extrahieren. Um diesem Problem entgegenzuwirken, präsentiert ein neues Verfahren die Idee der „Privatsphäre-geschützten Modelltranskription“. Dabei wird ein bereits trainiertes Modell (Teacher) ohne Zugriff auf die ursprünglichen Daten in ein privates Gegenstück (Student) überführt.

Der Schlüssel liegt in einer kooperativ-competitive Lernstrategie, die als „differenziell private synthetische Distillation“ bezeichnet wird. Ein lernbarer Generator erzeugt synthetische Daten, die sowohl vom Teacher als auch vom Student verarbeitet werden. Anschließend werden differenzielle Privatsphäre‑Rauschungen auf Labels oder Daten angewendet, sodass die Labels für das Training des Students verrauscht bleiben. Der Student wird mit diesen verrauschten Labels trainiert, während der Generator gleichzeitig als Diskriminator fungiert und durch adversariales Training weiter optimiert wird.

Die Autoren zeigen theoretisch, dass dieser Ansatz sowohl Differential Privacy als auch Konvergenz garantiert. Das resultierende Student-Modell behält dabei eine hohe Leistungsfähigkeit bei, während gleichzeitig die Privatsphäre der ursprünglichen Daten geschützt wird. Zusätzlich kann der Generator selbst private synthetische Daten generieren, die für weitere Aufgaben genutzt werden können.

Umfangreiche Experimente belegen, dass diese Methode die Leistung von 26 führenden Ansätzen deutlich übertrifft. Damit eröffnet die Privatsphäre-geschützte Modelltranskription einen vielversprechenden Weg, Deep‑Learning‑Modelle sicher in der Praxis einzusetzen, ohne die Vertraulichkeit sensibler Daten zu gefährden.