Neues Belohnungssystem reduziert Überdenken bei großen Rechenmodellen

In den letzten Jahren haben große Rechenmodelle für komplexe Denkaufgaben dank Verstärkungslernen mit überprüfbaren Belohnungen enorme Fortschritte erzielt. Ein häufig auftretendes Problem ist jedoch das „Überdenken“: Die Modelle verbrauchen bei einfachen Aufgaben zu viel Rechenzeit, was die Effizienz mindert. Traditionelle Ansätze zur Effizienzsteigerung setzen meist auf eine genaue Einschätzung der Aufgabe, um Token-Budgets festzulegen oder Denkmodi auszuwählen – ein Ansatz, der wenig Flexibilität und Zuverlässigkeit bietet.

Die neue Studie untersucht das Überdenken aus einer anderen Perspektive und zeigt, dass die Förderung effektiver Zwischenschritte bei gleichzeitiger Bestrafung ineffizienter Schritte der Schlüssel zur Lösung ist. Hierfür wird ein regelbasiertes, überprüfbares Schritt-für-Schritt-Belohnungssystem (VSRM) vorgestellt, das Belohnungen anhand der Leistung einzelner Zwischenschritte in der Denktrajektorie vergibt. Dieses Konzept passt sich intuitiv an die sequentielle Natur von Denkaufgaben an.

Durch umfangreiche Tests an den Standard-Mathematik-Benchmarks AIME24 und AIME25, in Kombination mit den Algorithmen PPO und Reinforce++, konnte gezeigt werden, dass VSRM die Ausgabelänge signifikant reduziert, ohne die ursprüngliche Leistungsfähigkeit zu beeinträchtigen. Zusätzlich lässt sich die Häufigkeit des Überdenkens sowie der Pass@k-Score nach dem Training deutlich verbessern, was die Wirksamkeit des Ansatzes bestätigt.

Der komplette Code wird nach Annahme der Veröffentlichung freigegeben, sodass die Forschungsgemeinschaft die Ergebnisse reproduzieren und weiterentwickeln kann.