Transformers: Das neue, zustandslose Differenzierbare Neuronale Computer
Die Differenzierbaren Neuronalen Computer (DNCs) wurden ursprünglich als rekurrente Architekturen mit einer adressierbaren externen Speicherstruktur entwickelt, die differenzierbare Lese- und Schreiboperationen ermöglic…
- Die Differenzierbaren Neuronalen Computer (DNCs) wurden ursprünglich als rekurrente Architekturen mit einer adressierbaren externen Speicherstruktur entwickelt, die diff…
- Im Gegensatz dazu sind Transformers nominale Feedforward-Modelle, die auf Multi‑Head‑Selbstaufmerksamkeit setzen.
- In einer formalen Herleitung wurde gezeigt, dass eine kausale Transformer‑Schicht exakt einem zustandslosen Differenzierbaren Neuronalen Computer (sDNC) entspricht.
Die Differenzierbaren Neuronalen Computer (DNCs) wurden ursprünglich als rekurrente Architekturen mit einer adressierbaren externen Speicherstruktur entwickelt, die differenzierbare Lese- und Schreiboperationen ermöglicht. Im Gegensatz dazu sind Transformers nominale Feedforward-Modelle, die auf Multi‑Head‑Selbstaufmerksamkeit setzen.
In einer formalen Herleitung wurde gezeigt, dass eine kausale Transformer‑Schicht exakt einem zustandslosen Differenzierbaren Neuronalen Computer (sDNC) entspricht. Dabei besitzt der Controller keine rekurrente interne Zustandsvariable, der externe Speicher ist eine einmalig beschreibbare Matrix aus Wertvektoren, die adressierung erfolgt über Schlüssel, die die Aufmerksamkeit steuern, und die Multi‑Head‑Aufmerksamkeit entspricht mehreren parallelen Leseköpfen.
Die Gleichwertigkeit wird weiter auf Cross‑Attention ausgeweitet: Encoder‑Decoder‑Transformers lassen sich als sDNCs mit getrennten Lese‑ und Schreib‑Speichern interpretieren. Damit wird die gesamte Transformer‑Familie in einen einheitlichen, speicherzentrierten Rahmen eingebettet.
Diese Erkenntnis liefert eine konsistente, rechnerische Sichtweise auf moderne große Sprachmodelle und unterstützt die Bemühungen, sie in ein principielles, theoretisch fundiertes Modell zu integrieren.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.