Neuer Ansatz: Unlernbare Beispiele reduzieren gegenseitige Information

Die riesige Menge an frei verfügbaren Daten im Internet hat den Durchbruch des Deep Learning vorangetrieben – gleichzeitig wächst die Sorge um Datenschutz und Datensicherheit. Um zu verhindern, dass unbefugte Modelle sensible Daten aus dem Internet lernen, wurden zahlreiche Methoden zur Erzeugung von unlernbaren Beispielen entwickelt. Diese Ansätze beruhen jedoch meist auf empirischen Heuristiken, sodass ihre Wirksamkeit schwer nachvollziehbar bleibt.

In der vorliegenden Arbeit wird ein völlig neuer Blickwinkel eingeführt: die Reduktion der gegenseitigen Information (Mutual Information). Die Autoren zeigen, dass effektive unlernbare Beispiele stets die gegenseitige Information zwischen sauberen und manipulierten Merkmalen verringern. Je tiefer ein Netzwerk ist, desto stärker wird diese Reduktion und desto unlernbarer werden die Daten.

Darüber hinaus beweisen die Forscher aus Sicht der Kovarianzreduktion, dass die Minimierung der bedingten Kovarianz innerhalb einer Klasse die gegenseitige Information zwischen den Verteilungen senkt. Auf dieser theoretischen Basis wird die Methode „Mutual Information Unlearnable Examples“ (MI‑UE) vorgestellt, die die Kovarianz durch Maximierung der Kosinusähnlichkeit intra‑klassischer Merkmale reduziert und damit die Generalisierung von Modellen effektiv verhindert.

Umfangreiche Experimente belegen, dass MI‑UE die bisherigen Verfahren deutlich übertrifft – selbst wenn robuste Verteidigungsmechanismen eingesetzt werden. Dieser Ansatz liefert nicht nur eine solide theoretische Fundierung, sondern auch einen praktischen Weg, um Daten vor unerlaubtem Lernen zu schützen.