SALMAN: Lokale Robustheitsanalyse von Sprachmodellen ohne Parameteränderungen

Die neuesten Fortschritte bei vortrainierten Transformer‑Modellen haben die Leistung in vielen NLP‑Aufgaben auf ein neues Niveau gehoben. Gleichzeitig wächst die Sorge um die Stabilität dieser Modelle, wenn sie in der Praxis eingesetzt werden und mit kleinen Eingabeveränderungen konfrontiert sind. Traditionelle Robustheitsansätze unterscheiden sich stark zwischen kleinen und großen Modellen und erfordern oft aufwändige, maßgeschneiderte Angriffe.

In dem neuen Beitrag wird ein einheitlicher, lokaler Robustheitsrahmen namens SALMAN vorgestellt, der die Stabilität eines Modells bewertet, ohne dessen interne Parameter zu verändern oder komplexe Angriffsheuristiken zu nutzen. Der Kern des Ansatzes ist die Distance Mapping Distortion (DMD), ein Maß, das die Anfälligkeit einzelner Stichproben bestimmt, indem es die Abstände zwischen Eingabe‑ und Ausgabemapping vergleicht. Dabei bleibt die Berechnung nahezu linear in der Komplexität.

Die Autoren zeigen, dass SALMAN die Effizienz von Angriffen deutlich steigert und die robuste Trainingsleistung verbessert. Damit bietet das Framework ein praktisches, modellunabhängiges Werkzeug, um die Zuverlässigkeit von Transformer‑basierten NLP‑Systemen zu erhöhen und die Herausforderungen der zunehmenden Modellgröße zu adressieren.