Universelle Aktivierungsrichtungen enthüllen PII-Leckage in Sprachmodellen

Moderne Sprachmodelle besitzen ein komplexes internes Gefüge, doch bislang ist kaum bekannt, wie sensible Verhaltensweisen wie die Leckage von personenbezogenen Daten (PII) in ihren versteckten Zuständen repräsentiert und gesteuert werden. Mit dem neuen Ansatz UniLeak wird dieses Rätsel endlich gelöst.

UniLeak ist ein mechanistisches Interpretationsframework, das universelle Aktivierungsrichtungen identifiziert – latente Richtungen im Residual-Stream eines Modells, deren lineare Addition während der Inferenz die Wahrscheinlichkeit für die Erzeugung von PII über verschiedene Eingabeaufforderungen hinweg konsequent erhöht. Diese modell-spezifischen Richtungen gelten über unterschiedliche Kontexte hinweg und steigern die PII-Generierung, ohne die Qualität der Ausgabe merklich zu beeinträchtigen.

Der innovative Teil von UniLeak ist, dass es diese Richtungen ohne Zugriff auf Trainingsdaten oder bekannte PII-Labels rekonstruieren kann. Stattdessen nutzt es ausschließlich selbst generierten Text. In umfangreichen Tests über mehrere Modelle und Datensätze hinweg zeigte sich, dass das gezielte Steuern entlang dieser universellen Richtungen die PII-Leckage deutlich stärker erhöht als herkömmliche promptbasierte Extraktionsmethoden.

Die Ergebnisse eröffnen einen neuen Blickwinkel auf PII-Leckage: Sie lässt sich als Überlagerung eines latenten Signals in den Modellrepräsentationen verstehen. Dieses Verständnis ermöglicht sowohl die gezielte Verstärkung als auch die gezielte Abschwächung von PII-Risiken und bietet damit wertvolle Ansatzpunkte für die Entwicklung sichererer Sprachmodelle.