PLDR-LLMs zeigen bei Selbstorganisierter Kritikalität erstaunliche Denkfähigkeiten

Neues Forschungsergebnis aus dem arXiv-Preprint PLDR-LLMs Reason At Self-Organized Criticality zeigt, dass große Sprachmodelle, die bei der Selbstorganisierten Kritikalität vortrainiert wurden, beim Inferenzprozess erstaunliche Denkfähigkeiten entwickeln. Die Autoren beschreiben die deduktiven Ausgaben dieser Modelle als ein Phänomen, das stark an zweiteilige Phasenübergänge erinnert.

In der kritischen Phase divergiert die Korrelationslänge, wodurch die deduktiven Ausgaben ein metastabiles Gleichgewicht erreichen. Dieses Gleichgewicht deutet darauf hin, dass die Modelle Repräsentationen erlernen, die mit Skalierungsfunktionen, Universitätsklassen und Renormierungsgruppen aus dem Trainingsdatensatz vergleichbar sind. Dadurch entsteht eine robuste Generalisierung und ein ausgeprägtes Denkvermögen.

Ein zentrales Ergebnis ist die Definition eines Ordnungsparameters, der aus den globalen Statistiken der deduktiven Ausgaben bei Inferenz berechnet wird. Modelle, deren Ordnungsparameter nahe Null liegt, zeigen die besten Denkleistungen. Diese Beobachtung wird durch Benchmark-Ergebnisse von Modellen, die nahe der kritischen und subkritischen Grenze trainiert wurden, bestätigt.

Die Studie liefert damit eine eigenständige Erklärung dafür, wie und warum große Sprachmodelle denken können. Sie zeigt, dass die Denkfähigkeit allein aus den globalen Modellparametern der deduktiven Ausgaben im Gleichgewichtszustand quantifiziert werden kann – ohne dass umfangreiche Benchmark-Datensätze evaluiert werden müssen.