Datenlernen in LLMs führt zum Kollaps – Symbolische Modelle sind entscheidend
Eine neue Studie auf arXiv (2601.05280v1) beleuchtet die Grenzen der selbstverbessernden großen Sprachmodelle (LLMs). Die Autoren modellieren rekursives Selbsttraining als diskrete Zeitdynamik und zeigen, dass LLMs zwangsläufig in einen Kollaps verfallen, sobald die Trainingsdaten immer mehr selbst erzeugt werden.
