Neue Methode DRAFT verbessert Sicherheit von Tool‑nutzenden LLM-Agenten

Mit dem Aufkommen von LLM‑Agenten, die externe Werkzeuge einsetzen, verschiebt sich die Sicherheitsüberwachung von der bloßen Ausgabe‑Moderation hin zu einer detaillierten Analyse langer, verrauschter Interaktionsverläufe. In diesen Sequenzen liegen die entscheidenden Beweise für Risiken nur selten vor, sodass herkömmliche binäre Überwachungsansätze kaum geeignet sind, die Verantwortung korrekt zuzuordnen.

Um diesem Problem zu begegnen, stellt das Forschungsteam die Methode DRAFT (Task Decoupled Latent Reasoning for Agent Safety) vor. DRAFT trennt die Sicherheitsbewertung in zwei lernbare Phasen: einen Extractor, der den gesamten Verlauf in einen kompakten, kontinuierlichen latenten Entwurf zusammenfasst, und einen Reasoner, der gleichzeitig auf diesen Entwurf und den Originalverlauf achtet, um die Sicherheit vorherzusagen. Durch die Aggregation von Beweisen im latenten Raum vermeidet DRAFT die Informationsverluste, die bei klassischen „Summarize‑then‑Judge“-Pipelines auftreten, und ermöglicht ein vollständig differenzierbares Training.

In umfangreichen Benchmarks wie ASSEBench und R‑Judge übertrifft DRAFT die stärksten Baselines konsequent. Die Genauigkeit steigt von 63,27 % (LoRA) auf 91,18 % im Durchschnitt über die Tests. Zusätzlich erzeugt das Modell klar trennbare Repräsentationen, und Ablationsstudien zeigen eine deutliche Synergie zwischen Extractor und Reasoner.

Die Ergebnisse deuten darauf hin, dass die Verwendung kontinuierlicher latenter Argumentation vor dem endgültigen Auswertungsprozess ein praktikabler Weg ist, um die Sicherheit von Agenten in langen Kontexten mit spärlichen Beweisen zuverlässig zu gewährleisten.