Neue Methode schätzt Adversarial‑Risiko von LLMs bei Best‑of‑N Sampling

Wissenschaftler haben eine neue Technik entwickelt, die das wahre Risiko von großen Sprachmodellen (LLMs) unter realen Angriffsbedingungen genauer einschätzt. Traditionelle Tests, die meist nur einen einzelnen Prompt oder ein kleines Budget an Angriffen nutzen, unterschätzen die Gefahr, weil Angreifer in der Praxis oft tausende parallele Versuche durchführen, bis ein schädlicher Output erzeugt wird.

Die neue Methode, genannt SABER (Scaling‑Aware Best‑of‑N Estimation of Risk), nutzt eine Beta‑Verteilung, um die Erfolgswahrscheinlichkeit einzelner Samples zu modellieren. Auf dieser Basis wird ein analytisches Skalierungsmodell abgeleitet, das es ermöglicht, die Erfolgsrate bei sehr großen N‑Werten aus nur wenigen Messungen zu extrapolieren.

In Tests mit lediglich 100 Samples konnte SABER die Erfolgsrate bei 1.000 Versuchen mit einem mittleren Absolutfehler von 1,66 % vorhersagen – ein 86,2 %iger Fehlerreduktion im Vergleich zum bisherigen Standard. Die Ergebnisse zeigen, dass Modelle, die unter herkömmlichen Tests robust wirken, unter paralleler Angriffsbelastung schnell ein starkes, nichtlineares Risiko entwickeln können.

Die Autoren betonen, dass SABER eine kostengünstige und skalierbare Methode für die realistische Sicherheitsbewertung von LLMs darstellt. Der zugehörige Code und die Evaluationsskripte werden nach der Veröffentlichung freigegeben, um die Forschung in diesem wichtigen Bereich zu fördern.