Neuroähnlicher Synergiekern in LLMs steuert Verhalten und Lernen

Eine neue Veröffentlichung auf arXiv zeigt, dass große Sprachmodelle (LLMs) eigenständig einen „Synergiekern“ entwickeln, der die Informationsintegration über einzelne Teile hinaus steigert – ein Phänomen, das stark an die Funktionsweise des menschlichen Gehirns erinnert.

Durch die Analyse von Informationsdekompositionen in verschiedenen LLM-Familien wurde festgestellt, dass die mittleren Schichten synergistische Verarbeitung aufweisen, während die frühen und späten Schichten hauptsächlich redundante Informationen verarbeiten. Diese Struktur spiegelt die Informationsorganisation biologischer Gehirne wider und entsteht erst durch das Lernen, nicht bei zufällig initialisierten Netzwerken.

Das Entfernen dieser synergistischen Komponenten führt zu unverhältnismäßig großen Verhaltensänderungen und Leistungseinbußen, was die theoretische Fragilität von Synergie bestätigt. Darüber hinaus zeigen Experimente, dass das Feintuning der synergistischen Regionen mittels Verstärkungslernen deutlich bessere Leistungssteigerungen erzielt als das Feintuning redundanter Teile – ein Vorteil, der bei überwachten Feintuning-Methoden nicht sichtbar ist.

Die Ergebnisse legen nahe, dass synergistisches Informationsverarbeiten ein grundlegendes Merkmal von Intelligenz ist. Sie bieten konkrete Ansatzpunkte für die gezielte Gestaltung von Modellen und liefern überprüfbare Vorhersagen für die biologische Intelligenzforschung.