Neue Technik verbessert Transformer durch gezielte Informationsweiterleitung

In der neuesten Forschung zu Decoder‑Only‑Transformern wird gezeigt, dass die Art und Weise, wie Informationen durch das Modell fließen, entscheidend für die Leistung ist. Durch das causale Masking entstehen nicht nur direkte Aufmerksamkeitspfade zwischen Tokens, sondern auch indirekte Wege, die über Zwischentoken laufen – diese werden als „Runways“ bezeichnet.

Die Autoren stellen fest, dass ein Missverhältnis zwischen diesen beiden Informationsströmen zu unnötigen Redundanzen und irrelevanten Daten führt, die sich in den Token‑Repräsentationen ansammeln. Dieses Phänomen, das sie als Runway‑Cascade bezeichnen, kann die Effizienz und Genauigkeit von Sprachmodellen erheblich beeinträchtigen.

Als Lösung schlagen sie ein runway‑aware Rewiring vor: Jeder Token bekommt ein neues Aufmerksamkeitsmuster, das auf einer Zusammenfassung seines Runway‑Landschaftsbildes basiert. Dadurch wird die direkte Aufmerksamkeitsverteilung gezielt angepasst, sodass die kumulativen Einflüsse der indirekten Pfade berücksichtigt werden. Der Ansatz benötigt keine zusätzlichen Parameter und lässt sich nahtlos in bestehende Attention‑Mechanismen einbinden.

Experimentelle Ergebnisse zeigen, dass das neu gewirkte Modell nicht nur die Leistung im allgemeinen Sprachmodellieren steigert, sondern auch die Fähigkeiten in Information Retrieval und extrapolativen Aufgaben deutlich verbessert. Diese Fortschritte markieren einen wichtigen Schritt zur Schaffung effizienterer und robusterer Transformer‑Architekturen.