Mehr als Genauigkeit: Geometrische Stabilitätsanalyse von LLMs im Schach

In der Bewertung von Large Language Models (LLMs) im Schach wird die Leistung bislang vor allem anhand von Genauigkeitswerten gegenüber starken Engines wie Stockfish gemessen. Doch hohe Zahlen bedeuten nicht automatisch, dass das Modell die zugrunde liegende Logik versteht.

Um diesen Mangel zu beheben, stellt die neue Studie ein Geometric Stability Framework vor. Dieses prüft die Konsistenz von Modellen unter unveränderlichen Transformationen – von Brettrotationen und Spiegelungen bis hin zu Farbwechseln und Formatumwandlungen.

Die Autoren haben das Verfahren auf sechs hochmoderne LLMs angewendet, darunter GPT‑5.1, Claude Sonnet 4.5 und Kimi K2 Turbo, und dabei rund 3 000 Schachpositionen getestet. Die Ergebnisse zeigen ein deutliches Accuracy‑Stability Paradox: GPT‑5.1 erreicht nahezu perfekte Genauigkeit bei Standardpositionen, verliert aber bei Rotationsaufgaben drastisch an Leistung – die Fehlerquote steigt um mehr als 600 %. Dies deutet darauf hin, dass das Modell eher Muster abgleicht als echte räumliche Logik anwendet.

Im Gegensatz dazu demonstrieren Claude Sonnet 4.5 und Kimi K2 Turbo eine robuste Dual‑Robustheit und behalten ihre Genauigkeit über alle Transformationen hinweg bei. Die Studie untersucht zudem die Balance zwischen Nützlichkeit und Sicherheit und hebt dabei Beobachtungen zu Gemini hervor.