ICON: Schutz gegen indirekte Prompt-Injection bei Agenten

Large Language Model (LLM)-Agenten sind anfällig für indirekte Prompt-Injection (IPI)-Angriffe, bei denen bösartige Anweisungen in abgerufenen Inhalten die Ausführung des Agenten übernehmen. Traditionelle Abwehrmechanismen setzen auf strenge Filterung oder Ablehnungen, was häufig zu einer übermäßigen Ablehnung führt und damit legitime Arbeitsabläufe vorzeitig beendet.

Das neue Framework ICON löst dieses Problem, indem es IPI-Angriffe erkennt und gleichzeitig die Kontinuität der Aufgaben bewahrt. Der Ansatz beruht auf der Erkenntnis, dass IPI-Angriffe eindeutige Überfokussierungssignale im latenten Raum hinterlassen.

Zunächst wird ein Latent Space Trace Prober eingesetzt, der anhand hoher Intensitätswerte potenzielle Angriffe identifiziert. Anschließend steuert ein Mitigating Rectifier gezielt die Aufmerksamkeit um, indem er schädliche Abhängigkeitsstrukturen manipuliert und gleichzeitig die für die Aufgabe relevanten Elemente verstärkt. Dadurch wird die ursprüngliche Funktionsweise des LLM wiederhergestellt.

Umfangreiche Tests an verschiedenen Modellen zeigen, dass ICON eine Fehlerrate von lediglich 0,4 % erreicht – gleichwertig mit kommerziellen Detektoren – und gleichzeitig die Aufgabenleistung um mehr als 50 % steigert. Darüber hinaus demonstriert ICON robuste Generalisierung außerhalb der Trainingsverteilung und lässt sich erfolgreich auf multimodale Agenten übertragen, wodurch ein ausgewogenes Verhältnis zwischen Sicherheit und Effizienz erzielt wird.