Transformer-Trennungen: Positionale und symbolische Aufmerksamkeit getrennt
Eine neue Untersuchung auf arXiv beleuchtet, wie Transformer die Position und Bedeutung von Wörtern getrennt verarbeiten. Dabei steht die Trennung von positionaler und symbolischer Information im Fokus, die für das Sprachverständnis und die Sprachproduktion entscheidend ist.
