SATQuest: Neuer Verifizierer für logisches Denken in LLMs

Die jüngsten Fortschritte bei großen Sprachmodellen (LLMs) haben beeindruckende Fähigkeiten im logischen Denken gezeigt – doch die systematische Bewertung und Verbesserung dieser Fähigkeiten bleibt schwierig. Der neue Ansatz SATQuest löst dieses Problem, indem er aus Conjunctive Normal Form (CNF)-Instanzen SAT-basierte Logikaufgaben erzeugt, die sich in drei unabhängigen Dimensionen unterscheiden: Instanzgröße, Problemtyp und Fragestellung.

Durch zufällige, SAT-basierte Problemgenerierung und die objektive Antwortüberprüfung mit PySAT bietet SATQuest ein kontrolliertes und skalierbares Tool, das das Auswendiglernen von Antworten reduziert und detaillierte Einblicke in die Denkleistung von LLMs ermöglicht. In umfangreichen Tests zeigte sich, dass viele Modelle bei der Generalisierung über vertraute mathematische Formate hinweg stark eingeschränkt sind.

Ein besonders vielversprechender Aspekt ist die Möglichkeit, LLMs mittels Verstärkungslernen mit SATQuest zu feintunen. Diese Methode führt zu signifikanten Verbesserungen bei gezielten Aufgaben und bleibt auch bei komplexeren Instanzen robust. Gleichzeitig verdeutlicht sie noch bestehende Herausforderungen bei der Anpassung an unterschiedliche Formate.

Mit SATQuest erhalten Forscher und Entwickler ein leistungsfähiges Instrument, um die logische Leistungsfähigkeit von LLMs gezielt zu analysieren, zu verbessern und auf neue Problemstellungen zu übertragen.