LLMs zeigen Fortschritte im formalen Logikspiel: Studie analysiert Spielverhalten

Eine neue Untersuchung beleuchtet, wie große Sprachmodelle (LLMs) in streng regelbasierten Umgebungen denken und handeln können. Dabei liegt der Fokus auf der Fähigkeit der Modelle, zukünftige Spielzustände vorherzusagen und passende Aktionen zu generieren.

Die Autoren haben vier aktuelle LLMs – Gemini 2.5 Pro und Flash, Llama 3.3 70B sowie GPT‑OSS 120B – anhand einer Reihe von Vorhersageaufgaben getestet. Diese Aufgaben umfassen die Formulierung des nächsten oder mehrstufigen Zustands sowie die Erzeugung von rechtlichen Aktionen in einer Vielzahl von General Game Playing (GGP)-Spielen. Zusätzlich wurden die Spiele anhand von 40 strukturellen Merkmalen klassifiziert und die Korrelationen zwischen diesen Merkmalen und der Modellleistung analysiert.

Die Ergebnisse zeigen, dass drei der getesteten Modelle in den meisten Szenarien solide Leistungen erbringen, während die Genauigkeit mit zunehmender Spielhorizontlänge abnimmt. Die detaillierte Fallanalyse deckt typische Fehler auf, wie das Erfinden von Regeln, das Hinzufügen redundanter Zustandsfakten oder syntaktische Unstimmigkeiten. Diese Erkenntnisse verdeutlichen, wo die Modelle noch Schwächen haben und welche Arten von Logikproblemen besonders herausfordernd sind.

Insgesamt demonstriert die Studie deutliche Fortschritte in der formalen Denkfähigkeit moderner LLMs. Die gewonnenen Einsichten liefern wertvolle Hinweise für die Weiterentwicklung von Modellen, die komplexe, regelbasierte Aufgaben zuverlässig lösen sollen.