Selbstentwickelnde Reflexion verbessert multimodale Mathematik-Modelle

Ein neues Verfahren namens MathSE verspricht, multimodale große Sprachmodelle (MLLMs) bei komplexen mathematischen Aufgaben deutlich zu stärken. Während aktuelle Modelle bereits beeindruckende Leistungen in Vision‑Language‑Fragen zeigen, stoßen sie bei tiefgreifenden Rechenaufgaben häufig an ihre Grenzen.

Traditionelle Ansätze zur Feinabstimmung nutzen meist von Lehrmodellen abgeleitete Datensätze, die lediglich statische Denkweisen abbilden. Dadurch fehlt den Modellen die Flexibilität, sich an neue oder anspruchsvollere Fragen anzupassen, und die notwendige iterative Tiefe für robuste Generalisierung bleibt aus.

MathSE löst dieses Problem, indem es einen selbstentwickelnden Rahmen einführt. Das Modell durchläuft wiederholte Zyklen aus Inferenz, Reflexion und belohnungsbasierter Rückmeldung. Dabei werden korrekte Lösungswege aus vorherigen Inferenzschritten übernommen und durch ein spezielles Outcome Reward Model (ORM) bewertet, um die Qualität der Antworten kontinuierlich zu verbessern.

Die Evaluation auf einer Reihe anspruchsvoller Benchmarks zeigt, dass MathSE die Leistung der Basis‑Modelle signifikant steigert. Besonders hervorzuheben ist die Überlegenheit auf dem MathVL‑Test, wo das Verfahren die führenden Open‑Source‑Modelle im Bereich multimodaler mathematischer Problemlösung übertrifft.