Vermeidung von Curriculum‑Kollaps in selbstentwickelnden Denkmodellen

Selbstentwickelnde Denkframeworks ermöglichen es großen Sprachmodellen, ihre Rechenfähigkeiten zu verbessern, indem sie ohne externe Anleitung fortlaufend neue Aufgaben generieren und lösen. Trotz dieser vielversprechenden Idee zeigen neuere Untersuchungen, dass solche Systeme nach nur wenigen Iterationen einen „Diversity‑Collapse“ erleben können – die Vielfalt der erzeugten Aufgaben nimmt ab, obwohl die Oberflächenvariation erhalten bleibt.

Um diesem Problem entgegenzuwirken, stellt das neue Verfahren Prism vor. Prism definiert ein dauerhaftes Diversitätssignal, das auf einer semantischen Partition mathematischer Aufgaben basiert, und nutzt dieses Signal, um eine ausgewogene Erkundung bislang unterrepräsentierter Problemregionen zu fördern. Gleichzeitig wird ein Zone‑of‑Proximal‑Development‑Gate eingesetzt, das sicherstellt, dass die Schwierigkeitsstufe der Aufgaben am Rand der Lösbarkeit bleibt.

In umfangreichen Tests auf sieben etablierten mathematischen Reasoning‑Benchmarks übertrifft Prism fünf bestehende Self‑Evolving‑Baselines. Es erzielt die höchste Genauigkeit bei sechs der sieben Aufgaben und erzielt dabei signifikante Verbesserungen gegenüber dem R‑Zero‑Modell: +3,98 Punkte auf AMC und +3,68 Punkte auf Minerva Math.

Prism generiert zudem über die Iterationen hinweg semantisch vielfältige und anspruchsvolle Fragen, was zur Erstellung des Prism‑Math‑Datensatzes mit 100 000 mathematischen Fragen geführt hat. Diese Ergebnisse unterstreichen, dass die über Iterationen hinweg erzielte semantische Abdeckung ein bislang wenig genutzter, aber hochwirksamer Ansatz zur Entwicklung robuster Rechenmodelle darstellt.