Selbstspiel bei LLMs: Neue Erkenntnisse zur Verbesserung des mathematischen Denkens

In jüngster Zeit haben Fortschritte im Bereich der großen Sprachmodelle (LLMs) – insbesondere durch Verstärkungslernen mit verifizierbaren Belohnungen (RLVR) – die Idee des Selbstspiels nach dem Training befeuert. Dabei verbessern sich Modelle, indem sie eigene Aufgaben generieren und lösen. Obwohl Selbstspiel bereits deutliche Verbesserungen sowohl im eigenen Fachgebiet als auch außerhalb gezeigt hat, sind die zugrunde liegenden Mechanismen noch nicht vollständig verstanden.

Die vorliegende Studie untersucht die Trainingsdynamik des Selbstspiels anhand des Absolute Zero Reasoner und vergleicht ihn mit RLVR sowie mit klassischem Supervised Fine‑Tuning (SFT). Dabei werden Parameter‑Update‑Sparsity, die Entropie der Token‑Verteilungen und alternative Belohnungsfunktionen für den Problemdetektor analysiert.

Durch die Verbindung dieser Dynamiken mit der Leistungsbewertung mittels pass@k‑Tests liefert die Arbeit Aufschlüsse darüber, wie Selbstspiel sich von anderen Post‑Training‑Strategien unterscheidet. Gleichzeitig werden die inhärenten Grenzen des Ansatzes aufgezeigt und Perspektiven für zukünftige Verbesserungen der mathematischen Problemlösung in LLMs skizziert.