Diffusions-Sprachmodelle Neue Angriffe enthüllen gravierende Datenschutzlücken

Ein neuer Forschungsbericht aus dem arXiv-Repository beleuchtet die bislang wenig beachtete Gefahr von Membership‑Inference‑Attacks (MIA) gegen Diffusion Language Models (DLMs). Diese Modelle, die anstelle der klassischen autoregressiven Vorhersage eine bidirektionale, maskierte Token‑Prädiktion nutzen, eröffnen dank ihrer zahlreichen maskierbaren Konfigurationen ein enormes Angriffs‑Potential.

Im Gegensatz zu autoregressiven Systemen, die nur ein festes Vorhersagemuster besitzen, erlauben DLMs das gleichzeitige Testen vieler unabhängiger Masken. Diese Eigenschaft steigert die Wahrscheinlichkeit, dass ein Angreifer erkennt, ob ein bestimmtes Trainingsbeispiel im Modell gespeichert ist. Um diese Schwachstelle auszunutzen, präsentiert die Studie die Methode SAMA (Subset‑Aggregated Membership Attack). SAMA kombiniert maskierte Teilmengen mit sign‑basierten Statistiken und einer inversen Gewichtung, um selbst bei stark verrauschten Daten robuste Signale zu extrahieren.

Experimentelle Ergebnisse auf neun unterschiedlichen Datensätzen zeigen, dass SAMA die AUC um 30 % gegenüber dem besten bestehenden Ansatz verbessert und bei niedrigen Fehlalarmsätzen bis zu achtmal besser abschneidet. Diese Erkenntnisse legen nahe, dass Diffusions‑Sprachmodelle bislang unbekannte Datenschutzlücken aufweisen und gezielte Schutzmechanismen dringend erforderlich sind.