Neues Verfahren: LLMs sicherer machen durch gezielte Repräsentationslöschung

Moderne Sprachmodelle, die auf riesigen Webdaten trainiert werden, können gefährliche Inhalte erzeugen. Bestehende Schutzmaßnahmen wie DPO oder NPO senken zwar die Wahrscheinlichkeit schädlicher Ausgaben, bleiben aber anfällig für gezielte Angriffe und können durch erneutes Feintuning leicht umgangen werden.

Studien zeigen, dass diese Anpassungen oberflächlich sind: selbst wenn die Ausgabe weniger toxisch erscheint, bleiben die schädlichen „Richtungen“ in den internen Repräsentationen erhalten. Um dem entgegenzuwirken, wurde die Methode Representation Erasure-based Preference Optimization (REPO) entwickelt.

REPO betrachtet die Entgiftung als token‑basiertes Präferenzproblem. Durch ein neues Ziel, das Präferenzdaten nutzt, werden die Repräsentationen toxischer Fortsetzungen gezielt in Richtung ihrer sicheren Gegenstücke verschoben. Mechanistische Analysen belegen, dass REPO tiefgreifende, lokal begrenzte Änderungen an den Neuronen vornimmt, die für Toxizität verantwortlich sind, während die generelle Leistungsfähigkeit des Modells erhalten bleibt.

Umfangreiche Tests demonstrieren, dass REPO die bisher beste Robustheit erzielt. Es verhindert komplexe Angriffe wie Relearning‑Attacken und verbesserte GCG‑Jailbreaks, bei denen herkömmliche Repräsentations‑ und Ausgabebasierte Verfahren versagen.