Sprachmodelle: Prompt-Injection gelingt dank Rollenverwirrung

Obwohl Sprachmodelle umfangreiche Sicherheitstrainings durchlaufen, bleiben sie weiterhin anfällig für Prompt‑Injection‑Angriffe. In einer neuen Studie wird die Ursache auf ein Phänomen namens Rollenverwirrung zurückgeführt: Modelle bestimmen, wer „spricht“, anhand des Schreibstils, nicht anhand der Quelle des Textes.

Die Forscher entwickelten innovative Rollenprobe‑Methoden, um zu untersuchen, wie Modelle intern Rollen identifizieren. Diese Untersuchungen zeigen, dass unzuverlässiger Text, der eine bestimmte Rolle imitiert, automatisch die Autorität dieser Rolle übernimmt, was die Angriffe erleichtert.

Durch das Einfügen gefälschter Argumentationen in Benutzeranfragen und Toolausgaben erreichten die Angriffe durchschnittlich 60 % Erfolg bei StrongREJECT und 61 % bei Agent‑Exfiltration – und zwar über mehrere Open‑ und Closed‑Weight‑Modelle hinweg. Besonders bemerkenswert ist, dass der Grad der internen Rollenverwirrung bereits vor der Textgenerierung den Erfolg der Angriffe vorhersagen kann.

Die Ergebnisse legen einen fundamentalen Lücke offen: Während die Sicherheit an der Schnittstelle definiert wird, wird die Autorität im latenten Raum zugewiesen. Das Papier liefert einen einheitlichen mechanistischen Rahmen, der demonstriert, dass verschiedenartige Prompt‑Injection‑Angriffe denselben Rollenverwirrungsmechanismus ausnutzen.