LM-Agenten kennen Risiken, handeln aber nicht entsprechend
In einer neuen Studie von arXiv (2508.13465v1) wird gezeigt, dass Sprachmodell‑Agenten zwar ein erstaunliches Potenzial besitzen, reale Aufgaben zu automatisieren, aber gleichzeitig erhebliche Sicherheitsrisiken bergen. Die Forscher haben einen umfassenden Evaluationsrahmen entwickelt, der die Sicherheit der Agenten in drei aufeinanderfolgenden Dimensionen prüft: Erstens ihr Wissen über potenzielle Gefahren, zweitens ihre Fähigkeit, diese Gefahren in konkreten Ausführungstrajektorien zu erkennen, und drittens ihr tatsächliches Verhalten, um riskante Handlungen zu vermeiden.
Die Ergebnisse sind alarmierend: Obwohl die Agenten ein nahezu perfektes Risikowissen aufweisen (über 98 % der Fragen richtig beantwortet), fällt bei der Identifikation von Gefahren in realen Szenarien ein Leistungsabfall von mehr als 23 % auf. Noch gravierender ist, dass bei der Ausführung von Aufgaben nur weniger als 26 % der Agenten die Risiken erfolgreich umgehen. Diese Lücken bestehen auch bei leistungsstärkeren Modellen und spezialisierten Rechenmodellen wie DeepSeek‑R1, was bedeutet, dass bloßes Skalieren der Modellgröße oder der Rechenleistung die Sicherheitsprobleme nicht löst.
Um diese Diskrepanz zu adressieren, haben die Autoren einen unabhängigen Risikoverifizierer entwickelt, der die Lücken zwischen Wissen und Verhalten schließt. Der Ansatz verspricht, die Zuverlässigkeit von LM‑Agenten in sicherheitskritischen Anwendungen deutlich zu erhöhen, indem er die Kluft zwischen theoretischem Risikobewusstsein und praktischer Umsetzung überbrückt.