Datenlernen in LLMs führt zum Kollaps – Symbolische Modelle sind entscheidend

Eine neue Studie auf arXiv (2601.05280v1) beleuchtet die Grenzen der selbstverbessernden großen Sprachmodelle (LLMs). Die Autoren modellieren rekursives Selbsttraining als diskrete Zeitdynamik und zeigen, dass LLMs zwangsläufig in einen Kollaps verfallen, sobald die Trainingsdaten immer mehr selbst erzeugt werden.

Der Kollaps manifestiert sich in zwei fundamentalen Fehlermodi: Erstens die „Entropy Decay“, bei der die Vielfalt der erzeugten Verteilungen aufgrund endlicher Stichproben schwindet und zu Modenkollaps führt. Zweitens die „Variance Amplification“, bei der der Verlust externer Referenzen die Wahrheitsrepräsentation des Modells wie einen zufälligen Spaziergang driftet, begrenzt nur durch die Größe des Unterstützungsbereichs. Diese Phänomene sind nicht architekturabhängig, sondern resultieren aus der Art des verteilungsbasierten Lernens auf begrenzten Daten.

Auch Reinforcement‑Learning‑Systeme mit unvollkommenen Verifikatoren zeigen ähnliche semantische Zusammenbrüche, da sie ebenfalls auf selbst erzeugte Daten angewiesen sind. Die Autoren betonen, dass reine statistische Lernmethoden die Datenverarbeitungsungleichung nicht umgehen können.

Um diese Grenzen zu überwinden, schlagen die Forscher einen hybriden Ansatz vor, der symbolische Regression und Programmsynthese nutzt, gesteuert durch algorithmische Wahrscheinlichkeit. Durch die Coding‑Theorem‑Methode (CTM) lassen sich generative Mechanismen identifizieren, anstatt nur Korrelationen zu lernen. Dieser neurosymbolische Pfad bietet ein robustes Fundament für nachhaltige Selbstverbesserung von KI‑Systemen und verhindert den unvermeidlichen Kollaps, der bei rein datenbasierten Modellen auftritt.