Neues Verfahren entdeckt Textangriffe auf Transformer durch Repräsentationsstabilität

In einer aktuellen Veröffentlichung auf arXiv wird ein neues, modellunabhängiges Verfahren vorgestellt, das sich auf die Stabilität von Wortrepräsentationen konzentriert, um bösartige Textangriffe zu erkennen. Das System, genannt Representation Stability (RS), bewertet, wie stark die Einbettungen eines Textes verändert werden, wenn wichtige Wörter maskiert werden.

RS arbeitet in drei Schritten: Zuerst werden Wörter anhand von Wichtigkeitsheuristiken sortiert. Anschließend wird die Sensitivität der Einbettungen gegenüber dem Maskieren der wichtigsten k Wörter gemessen. Die daraus resultierenden Muster werden von einem BiLSTM-Detektor analysiert, der Angriffe identifiziert.

Die Experimente zeigen, dass Wörter, die durch Angriffe verändert wurden, eine deutlich höhere Maskierungssensitivität aufweisen als natürlich wichtige Wörter. Auf drei Datensätzen, drei Angriffstypen und zwei Zielmodellen erzielte RS eine Erkennungsrate von über 88 % und übertraf dabei häufig vorhandene Methoden, oft bei geringerem Rechenaufwand.

Weiterhin demonstriert RS, dass die Qualität der Angriffserkennung mit der Identifikationsqualität der wichtigsten Wörter korreliert. Gradientengestützte Ranglisten übertreffen dabei Attention‑ und Zufallsansätze. Das Verfahren generalisiert zudem gut auf unbekannte Datensätze, Angriffe und Modelle, ohne dass ein erneutes Training erforderlich ist, was es zu einer praktikablen Lösung für die Erkennung von Textangriffen macht.