CHBench: Neues Benchmark für strategisches Denken von Sprachmodellen

Die Fähigkeit von Sprachmodellen, Spiele zu spielen, gilt als wichtiger Indikator für ihr strategisches Denkvermögen. Traditionelle Messgrößen, die sich auf Nutzenwerte stützen, sind jedoch oft unzuverlässig, weil sie stark von der Spielstruktur und dem Verhalten der Gegner abhängen. Um diese Schwächen zu überwinden, wurde das Cognitive Hierarchy Benchmark (CHBench) entwickelt – ein innovatives Evaluationsframework, das sich an den kognitiven Hierarchiemodellen aus der Verhaltensökonomie orientiert.

CHBench geht davon aus, dass Agenten eine begrenzte Rationalität besitzen und auf unterschiedlichen Tiefen bzw. Ebenen der Überlegung agieren. Das Framework bewertet die strategische Denkfähigkeit von Sprachmodellen in drei systematischen Phasen. Dabei werden Verhaltensdaten von sechs hochmodernen LLMs in fünfzehn sorgfältig ausgewählten Normalformspielen analysiert. Die Ergebnisse zeigen, dass die Modelle konsistente strategische Ebenen über verschiedene Gegner hinweg aufweisen, was die Robustheit und Generalisierbarkeit des Benchmarks bestätigt.

Ein weiterer Schwerpunkt der Studie liegt auf den Auswirkungen von zwei zentralen Mechanismen – dem Chat-Mechanismus und dem Memory-Mechanismus – auf die strategische Leistung. Die Analyse offenbart, dass der Chat-Mechanismus die strategische Denkfähigkeit deutlich verschlechtert, während der Memory-Mechanismus sie verbessert. Diese Erkenntnisse unterstreichen die Nützlichkeit von CHBench als wertvolles Werkzeug zur Bewertung von LLM-Fähigkeiten und eröffnen neue Perspektiven für zukünftige Forschung und praktische Anwendungen.