Selbstspiel nur nachhaltig, wenn synthetische Pipeline lernbare Infos liefert

Neue Forschung aus dem arXiv-Preprint arXiv:2603.02218v1 zeigt, dass große Sprachmodelle (LLMs) nur dann wirklich durch selbstständige Lernschleifen wachsen, wenn die erzeugte Datenpipeline tatsächlich lernbare Informationen liefert. Ansonsten stagnieren die Systeme schnell, weil sie lediglich mehr Daten generieren, ohne dass die nächste Iteration davon profitieren kann.

Die Autoren untersuchen ein selbstspielbasiertes Programmieraufgabe-Experiment und stellen fest, dass nachhaltige Selbstentwicklung nur möglich ist, wenn die Pipeline aus drei Rollen – dem Proposer, der Aufgaben erstellt, dem Solver, der Lösungen versucht, und dem Verifier, der Trainingssignale liefert – gemeinsam den Informationsgewinn steigert. Durch gezielte Gestaltung dieser Rollen entsteht ein „weak‑to‑strong‑to‑weak“-Loop, der die Lernfähigkeit kontinuierlich erhöht.

Darüber hinaus identifizieren die Forscher drei wesentliche Systemdesigns: asymmetrische Co‑Evolution, die die Rollen dynamisch anpasst; Kapazitätswachstum, das Parameter‑ und Rechenbudget erweitert, um steigenden Informationsbedarf zu decken; und proaktives Informationssuchen, das externe Kontexte und neue Aufgabenquellen einbezieht, um eine Sättigung zu verhindern. Diese Kombination schafft einen messbaren, systemweiten Pfad von anfänglicher Schwäche zu dauerhafter Selbstentwicklung.