Phantom: Automatisierte Agenten‑Hijacking durch strukturierte Template‑Injektion

In einer neuen Studie aus dem arXiv‑Repository wird ein automatisiertes Angriffskonzept namens Phantom vorgestellt, das Agenten‑Hijacking – ein von OWASP als kritische Bedrohung für das Large‑Language‑Model‑Ökosystem eingestuftes Phänomen – auf ein neues Level hebt. Während bisherige Angriffe auf manuell gestaltete, semantisch getriebene Prompt‑Manipulationen angewiesen waren, erzielt Phantom dank strukturierter Template‑Injektion deutlich höhere Erfolgsraten und eine bessere Übertragbarkeit auf geschlossene, kommerzielle Modelle.

Der Schlüssel von Phantom liegt in der gezielten Manipulation der Chat‑Template‑Tokens, die LLM‑Agenten nutzen, um System‑, Benutzer‑, Assistent‑ und Tool‑Anweisungen voneinander zu trennen. Durch das Einfügen optimierter, strukturierter Templates in den abgerufenen Kontext erzeugt das System Rollen‑Verwirrung: Der Agent interpretiert die injizierten Inhalte fälschlicherweise als legitime Benutzeranweisungen oder frühere Tool‑Ausgaben. Diese Fehlinterpretation ermöglicht es Angreifern, die Ausführung des Agenten zu steuern.

Um die Transferierbarkeit gegen Black‑Box‑Agenten zu erhöhen, führt Phantom ein innovatives Template‑Suchframework ein. Zunächst werden Templates auf mehreren Ebenen augmentiert, um die strukturelle Vielfalt zu steigern. Anschließend wird ein Template‑Autoencoder (TAE) trainiert, der diskrete Templates in einen kontinuierlichen, suchbaren Latent‑Space überführt. Mit Bayesian Optimization werden anschließend optimale adversariale Vektoren identifiziert, die in hochwirksame strukturierte Templates dekodiert werden.

Umfangreiche Experimente an Modellen wie Qwen, GPT und Gemini zeigen, dass Phantom die bestehenden Baselines in Bezug auf die Angriffserfolgsrate deutlich übertrifft. Die Ergebnisse unterstreichen die Dringlichkeit, Sicherheitsmechanismen gegen strukturierte Template‑Injektionen zu entwickeln, um die Integrität von LLM‑Agenten zu schützen.