G-Drift MIA: Neue Methode zur Aufdeckung von Trainingsbeispielen in LLMs

Large Language Models (LLMs) werden mit riesigen Webkorpora trainiert, was immer mehr Bedenken hinsichtlich Privatsphäre und Urheberrecht aufwirft. Ein besonders kritischer Aspekt ist die Möglichkeit, anhand von Datenpunkten zu erkennen, ob ein bestimmtes Beispiel im Trainingsdatensatz enthalten war – ein sogenannter Membership Inference Attack (MIA).

Aktuelle MIA-Methoden für LLMs stützen sich meist auf Ausgaben wie Wahrscheinlichkeiten oder Verlustwerte. Sie liefern jedoch oft nur geringe Verbesserungen gegenüber zufälligen Schätzungen, wenn Mitglieder und Nicht-Mitglieder aus derselben Verteilung stammen. Hier setzt die neue G-Drift MIA an.

G-Drift nutzt einen gezielten Gradientenaufstieg, um den Verlust eines Kandidaten (x, y) leicht zu erhöhen. Anschließend werden die Veränderungen in internen Repräsentationen – darunter Logits, Aktivierungen der versteckten Schichten und Projektionen auf feste Feature-Richtungen – vor und nach dem Update gemessen. Diese Drift-Signale trainieren einen schlanken Logistik-Klassifikator, der Mitglieder zuverlässig von Nicht-Mitgliedern trennt.

In umfangreichen Tests mit verschiedenen transformerbasierten LLMs und realistischen Benchmark-Datensätzen übertrifft G-Drift signifikant konventionelle Angriffe, die auf Konfidenz, Perplexität oder Referenzen basieren. Zudem zeigen die Ergebnisse, dass memorierte Trainingsbeispiele systematisch geringere und stärker strukturierte Feature-Drifts aufweisen, was einen mechanistischen Zusammenhang zwischen Gradienten-Geometrie, Repräsentationsstabilität und Memorierung herstellt.

Die Studie demonstriert, dass gezielte, kleine Gradienteneinwirkungen ein praktisches Werkzeug zur Überprüfung der Trainingsmitgliedschaft und zur Bewertung von Datenschutzrisiken in LLMs darstellen. Diese Erkenntnisse eröffnen neue Wege für die sichere Entwicklung und den verantwortungsvollen Einsatz von Sprachmodellen.