Transformers lernen von Natur aus kausal – neue Studie enthüllt
Eine kürzlich veröffentlichte Arbeit auf arXiv zeigt, dass Transformer‑Modelle, die in einer autoregressiven Weise trainiert werden, von Haus aus kausale Strukturen in ihren Repräsentationen verankern. Diese Entdeckung eröffnet einen völlig neuen Blickwinkel auf die Funktionsweise von Sprach- und Zeitreihenmodellen.