LLM-Agenten zeigen Schwächen bei Kooperation in Mixed‑Motive‑Szenarien

In einer neuen Studie wird die Fähigkeit von Large‑Language‑Model‑Agenten (LLM) getestet, in komplexen sozialen Situationen mit Menschen und anderen Agenten zusammenzuarbeiten. Die Forscher nutzen dafür Concordia, eine natürliche Sprach‑Multi‑Agenten‑Simulationsumgebung, um die Generalisierung von Kooperationsfähigkeiten in „Zero‑Shot“-Mixed‑Motive‑Umgebungen zu messen.

Der Ansatz bewertet die allgemeine kooperative Intelligenz, indem er prüft, ob ein Agent Chancen für gegenseitigen Nutzen erkennt und nutzt – sei es bei Verhandlungen, gemeinschaftlichen Aktionen oder normbasierten Interaktionen. Dabei werden unterschiedliche Partner und Kontexte einbezogen, um die Vielseitigkeit der Agenten zu prüfen.

Die Ergebnisse aus dem NeurIPS‑2024 Concordia‑Contest zeigen deutliche Lücken zwischen den aktuellen Leistungsstandards und der robusten Generalisierung, die für verlässliche Kooperation erforderlich ist. Besonders in Szenarien, die Überzeugungskraft und Normdurchsetzung erfordern, fallen die Agenten deutlich zurück.

Die Studie unterstreicht damit die Notwendigkeit, neue Evaluationsmethoden zu entwickeln, die die Grenzen der heutigen LLM‑Agenten aufzeigen und Wege für ihre Weiterentwicklung aufzeigen.