MLLMs meistern geometrisches Denken mit interaktiven Konstruktionen

In einer neuen Studie wird gezeigt, dass multimodale große Sprachmodelle (MLLMs) durch das gezielte Einbinden von visuellen Hilfen ihre geometrischen Problemlösungsfähigkeiten deutlich steigern können. Das Team hat GeoAux‑Bench entwickelt, ein Benchmark mit 4 334 Geometrieaufgaben, bei denen die textuellen Konstruktionsschritte exakt mit den zugehörigen visuellen Updates verknüpft sind. Die Ergebnisse belegen, dass interaktive visuelle und textuelle Hilfen die Leistung wesentlich übertreffen als reine Ein‑Modality‑Ansätze, weil sie die geometrische Synergie besser einfangen. Zudem wirken gültige Konstruktionen als Entropiereduktoren und senken die Rätsel‑Perplexität signifikant.

Auf Basis dieser Erkenntnisse wurde die Action Applicability Policy Optimization (A2PO) eingeführt – ein Reinforcement‑Learning‑Paradigma, das mit adaptiver Belohnungsformung die optimale Zeit und Qualität von visuellen Hilfen bestimmt. Durch kontrafaktische Stichproben trennt A2PO notwendige von überflüssigen Konstruktionen. In Experimenten konnte gezeigt werden, dass MLLMs mit A2PO selektive Hilfen nutzen und damit einen 3,51 %‑Gewinn gegenüber starken Baselines erzielen. Der zugehörige Code und die Daten stehen auf GitHub zur Verfügung.