RLVR: Grenzen der Generalisierung bei mathematischem Denken – Zwei Fallstudien

Reinforcement Learning with Verifiable Rewards (RLVR) gilt als vielversprechender Ansatz, um große Sprachmodelle (LLMs) im mathematischen Denken zu verbessern. Doch wie gut kann RLVR wirklich neue Denkstrategien fördern, statt nur oberflächliche Heuristiken zu verstärken?

In einer aktuellen Untersuchung wurden zwei kombinatorische Aufgaben – Activity Scheduling und die Longest Increasing Subsequence – mit vollständig verifizierbaren Lösungen ausgewählt. Für jede Aufgabe wurden sorgfältig kuratierte Datensätze mit eindeutigen Optima erstellt, sodass jede Lösung eindeutig bewertet werden kann.

Die Ergebnisse zeigen, dass RLVR die üblichen Evaluationsmetriken steigert, jedoch häufig durch die Verstärkung von einfachen Heuristiken und nicht durch die Entwicklung neuer, tiefergehender mathematischer Strategien. Das bedeutet, dass die Modelle zwar besser abschneiden, aber nicht unbedingt „verstehen“, warum die Antworten korrekt sind.

Diese Erkenntnisse verdeutlichen die Grenzen der Generalisierung von RLVR und unterstreichen die Notwendigkeit von Benchmarks, die echte mathematische Argumentation von bloßen Kurzschlüssen unterscheiden. Nur so lassen sich Fortschritte im Bereich des mathematischen Denkens wirklich messen.

Der zugehörige Code ist öffentlich verfügbar unter https://github.com/xashru/rlvr-seq-generalization.