Neue Belohnungsmodelle reduzieren Überdenken bei Sprachmodellen

Reinforcement‑Learning‑With‑Verifiable‑Rewards (RLVR) hat gezeigt, dass große Sprachmodelle (LLMs) ihre Fähigkeit zum logischen Denken deutlich steigern können. In der Praxis führen die daraus resultierenden großen Reasoning Models (LRMs) jedoch häufig zu übermäßig langen Antworten, die unnötige oder redundante Zwischenschritte enthalten – ein Phänomen, das als „Overthinking“ bezeichnet wird und die Rechenkosten stark erhöht.

Traditionelle Ansätze, die Längen­penalitäten in die Belohnungsfunktion einbauen, leiden häufig unter zwei Problemen: einer zu starken Kürzung der Antwortlänge (Length Collapse) und einer Instabilität während des Trainings (Training Collapse). Um diese Schwächen zu überwinden, stellen die Autoren ein neues Pipeline‑Konzept vor, das ein Conciseness Reward Model (CRM) trainiert, das die Kürze des Denkpfades bewertet, sowie eine neuartige Conciseness Reward Function (CRF), die die Ergebnis‑Belohnung explizit mit dem Kürzungs­score verknüpft.

Aus theoretischer Sicht demonstrieren die Forscher, dass die CRF die Varianz der Belohnung reduziert und die Konvergenz des Lernprozesses verbessert. Praktisch zeigen umfangreiche Experimente auf fünf mathematischen Benchmark‑Datensätzen, dass die Methode bei Qwen2.5‑7B eine Genauigkeitssteigerung von 8,1 % und eine Reduktion der Antwortlänge um 19,9 % erzielt. Darüber hinaus lässt sich die Technik erfolgreich auf andere LLMs wie Llama und Mistral übertragen.