Effiziente Fakten‑Speicher‑MLPs für Transformer: Neuer Ansatz

In der neuesten Veröffentlichung auf arXiv (2512.00207v1) wird ein innovatives Framework vorgestellt, das die Art und Weise, wie große Sprachmodelle (LLMs) Fakten in ihren MLP‑Parametern speichern, grundlegend verbessert. Durch gezielte Gewichtskonstruktionen lassen sich Schlüssel‑Wert‑Abbildungen effizient in die Netzwerke einbetten, was die Leistungsfähigkeit von LLMs weiter steigert.

Das neue Verfahren überzeugt in drei wesentlichen Punkten: Erstens funktioniert es für nahezu alle möglichen Eingabe‑Ausgabe‑Paare – nur ein Maß‑Null‑Set bleibt unberührt. Zweitens erreicht es eine asymptotisch optimale Parameter‑Effizienz, die den theoretischen Informationsgrenzen für bestimmte Einbettungen entspricht. Drittens bleibt die Konstruktion innerhalb von Transformer‑Architekturen praktikabel, sodass die Modelle weiterhin Fakten zuverlässig abrufen können.

Durch die Analyse der Konstruktion wurde ein neues Metriksystem für Wert‑Einbettungen entwickelt, das die Skalierung von Fakten pro Parameter sowohl bei konstruierten als auch bei mittels Gradient‑Descent trainierten MLPs beschreibt. Außerdem wurde ein einfacher Encoder‑Decoder‑Mechanismus identifiziert, der die asymptotischen Fakten‑Pro‑Parameter‑Raten der Gradient‑Descent‑MLPs über alle getesteten Eingaben und Ausgaben hinweg reproduziert. Schließlich zeigt die Arbeit einen fundamentalen Kompromiss zwischen der Speicher‑Kapazität eines MLPs und seiner Einsatzfähigkeit in Transformer‑Modellen auf.

Als praktisches Beispiel demonstriert die Studie die Möglichkeit, Fakten in ein‑Layer‑Transformers modular zu bearbeiten, indem komplette MLP‑Einheiten gleichzeitig ersetzt werden. Diese Technik eröffnet neue Perspektiven für die dynamische Anpassung von Sprachmodellen an veränderte Wissensbasen.