AIR: Agentensicherheit durch Incident-Response verbessern

In der Praxis werden Large Language Model (LLM)-Agenten immer häufiger in autonomen Systemen eingesetzt. Bisher konzentrieren sich Sicherheitsmechanismen jedoch fast ausschließlich auf die Vermeidung von Fehlern im Voraus, während die Reaktion auf bereits eingetretene Vorfälle kaum abgedeckt ist. Das neue Framework AIR (Incident Response) löst dieses Problem, indem es einen domänenspezifischen Sprachstandard für die komplette Lebensdauer eines Vorfalls in LLM-Agenten definiert und in deren Ausführungsloop integriert.

AIR erkennt Vorfälle durch semantische Prüfungen, die den aktuellen Zustand der Umgebung und den jüngsten Kontext berücksichtigen. Anschließend leitet es den Agenten an, mithilfe seiner verfügbaren Werkzeuge Maßnahmen zur Eindämmung und Wiederherstellung durchzuführen. Während des Eradikationsprozesses generiert das System zudem Schutzregeln, die ähnliche Vorfälle in zukünftigen Durchläufen verhindern. Diese Regeln können von LLMs selbst erstellt werden und erreichen eine Wirksamkeit, die der von Entwickler*innen verfassten Regeln nahekommt.

Die Evaluation von AIR an drei unterschiedlichen Agententypen zeigte, dass die Erkennungs-, Behebungs- und Eradikationsraten alle über 90 % liegen. Weitere Experimente bestätigten die Notwendigkeit der Kernkomponenten von AIR, demonstrierten die zeitnahe Reaktion und einen moderaten Overhead. Die Ergebnisse verdeutlichen, dass Incident-Response nicht nur machbar, sondern ein unverzichtbarer Bestandteil zur Verbesserung der Agentensicherheit ist.