M3-Bench: Prozessbasierte Bewertung von LLM-Agenten in Mixed-Motive-Spielen

Mit dem neuen Benchmark M3-Bench wird die Bewertung von großen Sprachmodellagenten (LLM) auf dem Gebiet der sozialen Interaktion in Mixed-Motive-Spielen auf ein neues Level gehoben. Während bisherige Tests meist nur ein einzelnes Fähigkeitsmerkmal oder reine Ergebnismetriken berücksichtigen, legt M3-Bench den Fokus auf die zugrunde liegenden Entscheidungsprozesse und Kommunikationsmuster der Agenten.

Der Ansatz gliedert sich in drei aufeinander abgestimmte Module: BTA (Behavioral Trajectory Analysis) erfasst die Verhaltensentwicklung, RPA (Reasoning Process Analysis) untersucht die inneren Überlegungen und CCA (Communication Content Analysis) analysiert die Inhalte der Interaktionen. Durch die Kombination dieser Perspektiven entsteht ein umfassendes Bild des agentenbasierten Sozialverhaltens.

Ein weiteres Highlight ist die Einbindung des Big-Five-Persönlichkeitsmodells sowie der Social Exchange Theory. Diese Theorien ermöglichen es, die gesammelten Daten in interpretierbare soziale Profilen zu überführen, die sowohl Persönlichkeitsmerkmale als auch Fähigkeitsprofile der Agenten abbilden. So lassen sich Unterschiede zwischen Modellen nicht nur anhand von Ergebnissen, sondern auch durch ihre Entscheidungswege und Kommunikationsstrategien erkennen.

Erste Experimente zeigen, dass M3-Bench in der Lage ist, verschiedene soziale Kompetenzprofile zuverlässig zu unterscheiden. Dabei offenbart sich, dass manche Modelle zwar überzeugende Ergebnisse liefern, jedoch signifikante Inkonsistenzen in ihren Denk- und Kommunikationsprozessen aufweisen. Diese Erkenntnisse unterstreichen die Notwendigkeit eines prozessbasierten Ansatzes, um die tatsächliche Leistungsfähigkeit von LLM-Agenten im sozialen Kontext zu verstehen.