Symbolische Solver verbessern große Sprachmodelle bei begrenztem Denken

Große Sprachmodelle (Large Reasoning Models, LRMs) erzielen beeindruckende Ergebnisse bei komplexen Logikaufgaben, indem sie lange „Chains of Thought“ (CoTs) generieren. Dieses Vorgehen kann jedoch zu einem hohen Tokenaufwand führen, wenn die Modelle zu viel überdenken und dadurch sogar falsche Antworten liefern.

Eine vielversprechende Lösung ist die Integration symbolischer Solver. Dabei nutzt das Modell seine Codegenerierungsfähigkeiten, um die Aufgabe in ausführbaren Code zu übersetzen, und löst sie anschließend mit einem symbolischen Solver. Die Frage, wann diese Methode die herkömmliche lange CoT übertrifft, wird in der aktuellen Studie untersucht.

Die Experimente zeigen, dass die symbolische Solver-Integration nur dann von Nutzen ist, wenn die Aufgabe nur begrenztes implizites Denken erfordert, aber einen großen Suchraum besitzt. Neueste LLMs wie GPT‑4o schneiden bei deduktiven Problemen mit flacher Denkstruktur besser ab, während die symbolische Lösung die Leistung bei Constraint‑Satisfaction‑Problemen, die wiederholte Rückverfolgungen benötigen, deutlich steigert.

Interessanterweise kann ein CodeLlama‑13B, wenn ein deklaratives Beispiel bereitgestellt wird, selbst bei schwierigen Zebra‑Puzzles GPT‑4o übertreffen. Diese Ergebnisse unterstreichen, dass die Kombination aus Sprachmodell und symbolischem Solver besonders dann effektiv ist, wenn die Aufgabe strukturiert, aber suchintensiv ist.