GT-HarmBench: KI‑Sicherheitsrisiken im Mehragenten‑Kontext neu bewertet

In einer Zeit, in der KI‑Systeme immer leistungsfähiger werden und in komplexen Mehragenten‑Umgebungen eingesetzt werden, fehlt bislang ein umfassendes Testfeld für die Bewertung von Sicherheitsrisiken. Das neue Benchmark‑Set GT‑HarmBench füllt diese Lücke, indem es 2.009 realistische Szenarien aus dem MIT AI Risk Repository nutzt und sie in klassische spieltheoretische Strukturen wie das Gefangenendilemma, den Hirschjagd‑ und den Chicken‑Spiel einbettet.

Die Analyse von 15 hochmodernen Modellen zeigt, dass die Agenten in lediglich 62 % der Fälle sozial vorteilhafte Entscheidungen treffen – ein Ergebnis, das häufig zu schädlichen Konsequenzen führt. Durch gezielte spieltheoretische Eingriffe lassen sich die positiven Ergebnisse um bis zu 18 % steigern, was die Bedeutung von strukturellen Interventionen für die KI‑Alignment‑Forschung unterstreicht.

GT‑HarmBench liefert damit ein standardisiertes, breit einsetzbares Testfeld, das die Zuverlässigkeitslücken in der KI‑Sicherheit aufzeigt und Forschern eine Plattform bietet, um neue Strategien zur Risikominimierung in Mehragenten‑Szenarien zu entwickeln. Der komplette Code und die Datensätze stehen kostenfrei auf GitHub zur Verfügung.