Neue Analyse zeigt: Sampling-Strategie bestimmt Ablehnungsverhalten von Sprachmodellen

In einer kürzlich veröffentlichten Studie auf arXiv wird deutlich, dass die Art und Weise, wie Sprachmodelle ihre Ausgaben generieren, einen entscheidenden Einfluss auf deren Sicherheitsverhalten hat. Während Diffusions-Sprachmodelle (DLMs) parallel dekodieren und damit schneller und kontrollierbarer sind als klassische autoregressive (AR) Modelle, bleibt die Rolle der Sampling-Mechanismen bei der Ablehnung schädlicher Anfragen bislang wenig verstanden.

Die Autoren stellen ein neues analytisches Rahmenwerk vor, das die Schritt-für-Schritt-Dynamik von Ablehnungen untersucht und AR- sowie Diffusions-Sampling direkt vergleicht. Ihre Ergebnisse zeigen, dass die Sampling-Strategie selbst ein wesentlicher Faktor für die Sicherheit ist – unabhängig von den zugrunde liegenden Lernrepräsentationen.

Auf Basis dieser Erkenntnisse wurde das „Step‑Wise Refusal Internal Dynamics“ (SRI)-Signal entwickelt. SRI liefert nicht nur Einblicke in die internen Erholungsprozesse eines Modells, sondern erkennt auch gefährliche Ausgaben, die auf dem Textlevel nicht sichtbar sind, indem es Anomalien in der „unvollständigen internen Erholung“ identifiziert.

Dank der geometrischen Struktur von SRI lassen sich leichtgewichtige Detektoren in Echtzeit einsetzen, die unbekannte Angriffe erkennen und gleichzeitig die Rechenlast um mehr als 100‑fach reduzieren. Diese neuen Sicherheitsmechanismen übertreffen bestehende Verteidigungen in Leistung und Effizienz, ohne die Qualität der generierten Texte zu beeinträchtigen.