Neues Konzept: Digitale Metabolismus trennt Logik von Fakten in LLMs
In großen Sprachmodellen verschmelzen Logik und Fakten zu einer einzigen, schwer zu trennenden Gewichtsschicht. Dieses Phänomen, das als Parameter‑Entanglement bezeichnet wird, führt zu einer „Memory Wall“, bei der die Rechenleistung unnötig für die Simulation von Abrufprozessen aufgewendet wird und häufig Halluzinationen erzeugt.
Um dieses Problem zu lösen, schlägt die aktuelle Studie einen „digitalen Metabolismus“ vor – eine thermodynamische Hypothese, die besagt, dass gezieltes Vergessen notwendig ist, um einen reinen neuronalen Logikkern zu extrahieren. Der Regenerative Logic‑Core Protocol (RLCP) ist ein zweigleisiger Trainingsrahmen, der mithilfe von tiefen Gradient‑Reversal‑Schichten spezifische Fakten linear unlesbar macht.
Die Anwendung von RLCP auf das Modell Qwen2.5‑0.5B zeigte eine deutliche Phasetransition: Die gezielten Fakten wurden nahezu vollständig vergessen (Genauigkeit < 7 %) und gleichzeitig ein „strukturelles Kristallisieren“ der Gewichte beobachtet. Diese Veränderung deutet darauf hin, dass das Modell seine interne Struktur neu organisiert hat.
Auf dem Aufgaben‑Set GSM8K zeigte das „metabolisierte“ Modell spontan die Verwendung von Chain‑of‑Thought‑Scaffolding. Diese Strategie kompensiert den Verlust direkter assoziativer Erinnerungen, indem sie von einer O(1)-Abruf‑ zu einer O(N)-Rechen‑Logik übergeht. Die genaue Ursache dieses Verhaltens bleibt noch zu erforschen, liefert jedoch wichtige Hinweise auf die Funktionsweise neuronaler Logik ohne Fakten‑Abhängigkeit.
Die Ergebnisse stellen einen dynamischen, gewichtsebene‑basierten Ansatz dar, der architektonische Innovationen wie DeepSeek’s Engram ergänzt. Sie ebnen den Weg für modulare „Neural‑CPU + Symbolic‑RAM“-Architekturen, die Logik und Fakten sauber voneinander trennen und damit die Zuverlässigkeit und Effizienz von KI‑Systemen erhöhen können.