LLM-Agenten erreichen MBA-Qualität bei Verhandlungen – neue Benchmark PieArena
Eine neue Studie aus dem Bereich der künstlichen Intelligenz präsentiert PieArena, ein umfangreiches Verhandlungsbenchmark, das reale Szenarien aus einem MBA-Verhandlungskurs einer Elite-Business‑School nutzt. Ziel ist es, die Fähigkeit von Sprachmodellen zu messen, komplexe Verhandlungen zu führen, die strategisches Denken, Theorie des Geistes und wirtschaftlichen Mehrwert erfordern.
Die Ergebnisse zeigen, dass ein Spitzenmodell – GPT‑5 – die Leistungen von Studierenden, die ein Semester lang Verhandlungsunterricht erhalten haben, gleichsetzt oder sogar übertrifft. Dies liefert starke Hinweise darauf, dass aktuelle Sprachmodelle bereits AGI‑ähnliche Kompetenzen besitzen, wenn es um Verhandlungsaufgaben geht.
Ein weiterer Schwerpunkt der Untersuchung war die Wirkung von „joint‑intentionality“‑Scaffolding, also einer strukturierten Unterstützung für die Agenten. Dabei konnten signifikante Verbesserungen bei mittleren und niedrigeren Modellen beobachtet werden, während die Spitzenmodelle nur noch geringe Zuwächse erzielten. Das Ergebnis deutet auf asymmetrische Lernkurven hin.
Darüber hinaus liefert PieArena ein mehrdimensionales Verhaltensprofil, das Unterschiede in Täuschung, Rechengenauigkeit, Befolgung von Anweisungen und wahrgenommener Reputation aufzeigt. Diese Nuancen bleiben bei herkömmlichen Ergebnis‑Benchmarks oft verborgen.
Zusammenfassend lässt sich sagen, dass die neuesten Sprachagenten bereits über die intellektuellen und psychologischen Fähigkeiten verfügen, um in hochriskanten wirtschaftlichen Situationen eingesetzt zu werden. Dennoch bleiben Herausforderungen in Bezug auf Robustheit und Vertrauenswürdigkeit, die für den praktischen Einsatz noch adressiert werden müssen.