Neue Methode CADA verbessert Sicherheit von Sprachmodellen ohne Hilfsverlust

Die Sicherstellung, dass große Sprachmodelle (LLMs) Sicherheitsprinzipien einhalten, ohne dabei harmlose Anfragen abzulehnen, bleibt eine zentrale Herausforderung. OpenAI hat mit seiner deliberativen Ausrichtung (DA) versucht, die Sicherheit seiner o‑Series‑Modelle durch das Durchdenken detaillierter, „code‑ähnlicher“ Sicherheitsregeln zu erhöhen.

In einer systematischen Untersuchung wurde die Wirksamkeit von explizit definierten umfangreichen Sicherheitscodes mit der von Fallbeispielen demonstrierten Vorgehensweise verglichen. Die Ergebnisse zeigen, dass das wiederholte Verweisen auf explizite Codes zwar die Unbedenklichkeit steigert, jedoch die Hilfsbereitschaft systematisch verringert. Im Gegensatz dazu führen Trainingsansätze, die auf fallbasierte, vereinfachte Codes setzen, zu robusteren und generalisierbareren Sicherheitsverhalten.

Auf Basis dieser Erkenntnisse wurde CADA – ein fallbasierter deliberativer Ausrichtungsansatz – entwickelt. CADA nutzt Reinforcement Learning auf selbstgenerierten Sicherheitsdenkschleifen und verbessert damit die Unbedenklichkeit, erhöht die Widerstandsfähigkeit gegen Angriffe, reduziert übermäßige Ablehnungen und erhält gleichzeitig die Nützlichkeit über verschiedene Benchmarks hinweg.

Die Studie unterstreicht, dass CADA eine praktikable Alternative zu regelbasierten DA-Methoden darstellt, die Sicherheit und Hilfsbereitschaft von LLMs gleichzeitig optimiert.