HardcoreLogic: Benchmark prüft Logikmodelle mit seltenen Rätselvarianten

Ein neues Forschungsprojekt namens HardcoreLogic stellt große Sprachmodelle (LRMs) vor eine anspruchsvolle Herausforderung: 5.000 Logikrätsel aus zehn verschiedenen Spielen, die systematisch komplexer, ungewöhnlicher und teilweise unlösbar gemacht wurden. Ziel ist es, die Fähigkeit der Modelle zu testen, Regeln flexibel anzuwenden, anstatt sich auf bekannte Muster zu verlassen.

Die Autoren kritisieren, dass bisherige Datensätze vor allem klassische Rätsel wie 9×9‑Sudoku abdecken. Dadurch riskieren die Modelle, sich auf Memorierung zu verlassen, anstatt wirklich zu verstehen, wie Regeln in neuen Varianten funktionieren. HardcoreLogic verändert die Rätsel in drei Dimensionen – erhöhte Komplexität, seltene Elemente und unlösbare Aufgaben – um diese Schwäche sichtbar zu machen.

Bei umfangreichen Tests zeigte sich, dass selbst Spitzenmodelle, die auf bestehenden Benchmarks hervorragende Ergebnisse erzielen, bei HardcoreLogic deutlich schlechter abschneiden. Die größte Schwäche liegt in der erhöhten Komplexität, doch auch subtile Regeländerungen, die die Schwierigkeit nicht erhöhen, stellen Probleme dar. Eine detaillierte Fehleranalyse verdeutlicht, dass die Modelle oft nicht wirklich logisch denken, sondern Muster auswendig gelernt haben.

HardcoreLogic liefert damit einen wichtigen Maßstab, um die Grenzen aktueller LRMs zu erkennen und die Entwicklung von Modellen zu fördern, die wirklich verstehen und nicht nur auswendig lernen.