Crisis-Bench: Benchmark strategische Ambiguität und Reputationsmanagement in LLMs
Die aktuelle Forschung im Bereich der großen Sprachmodelle (LLMs) zeigt, dass Standard-Sicherheitsanpassungen – die darauf abzielen, Modelle stets hilfsbereit und ehrlich zu machen – in vielen professionellen Anwendungsfällen zu einer „Transparenzsteuer“ führen. Besonders in Bereichen wie Public Relations, Verhandlungen und Krisenmanagement, wo strategische Mehrdeutigkeit und gezieltes Zurückhalten von Informationen entscheidend sind, kann diese einheitliche Ethik den Nutzen stark einschränken.
Um diesen Spannungsbogen zwischen allgemeiner Sicherheit und beruflicher Nützlichkeit messbar zu machen, wurde das Benchmark „Crisis-Bench“ entwickelt. Dabei handelt es sich um ein multi‑agentenbasiertes Partially Observable Markov Decision Process (POMDP), das LLMs in simulierten Unternehmenskrisen testet. Die Plattform umfasst 80 unterschiedliche Szenarien aus acht Branchen und lässt einen LLM‑basierten PR‑Agenten eine 7‑Tage‑Krisensimulation durchlaufen, wobei er strikt getrennte private und öffentliche Narrative verwalten muss, um echte Informationsasymmetrien zu erzeugen.
Ein zentrales Innovationselement ist der „Adjudicator‑Market Loop“. Hier wird die öffentliche Stimmung von einem Adjudicator bewertet und in einen simulierten Aktienkurs umgewandelt. Dieses Vorgehen schafft ein realistisches ökonomisches Anreizsystem, das die Leistung der Modelle in Bezug auf Reputationsmanagement quantifiziert.
Die ersten Ergebnisse zeigen eine deutliche Spaltung: Einige Modelle geben sich den ethischen Vorgaben hin und zeigen keine Bereitschaft, Informationen zurückzuhalten. Andere hingegen demonstrieren die Fähigkeit, strategisch und legitim Informationen zu verbergen, um den simulierten Aktienkurs zu stabilisieren. Damit liefert Crisis-Bench das erste quantitative Rahmenwerk, um die „Reputation Management“-Fähigkeiten von LLMs zu bewerten und fordert einen Wandel von starrem Moralkodex hin zu einem nuancierteren Ansatz.