Attention Sink bei Transformers: Überblick zu Nutzung und Gegenmaßnahmen

Transformers bilden das Rückgrat moderner KI und haben in vielen Bereichen bahnbrechende Fortschritte ermöglicht. Trotz dieser Erfolge bleibt ein hartnäckiges Problem bestehen: der Attention Sink (AS). Dabei konzentriert sich ein großer Teil der Aufmerksamkeitsgewichte auf wenige, aber wenig informative Tokens. Dieser Effekt erschwert die Interpretierbarkeit, stört das Training und die Inferenz und kann sogar zu Halluzinationen führen.

In den letzten Jahren wurden zahlreiche Studien veröffentlicht, die AS untersuchen und versuchen, es zu nutzen oder zu mildern. Bisher fehlte jedoch eine systematische Zusammenfassung, die die gesamte Forschungslage übersichtlich darstellt. Die vorliegende Arbeit füllt diese Lücke und bietet die erste umfassende Übersicht zu Attention Sink. Sie gliedert sich in drei zentrale Bereiche: die grundlegende Nutzung von AS, mechanistische Interpretationen und strategische Gegenmaßnahmen.

Durch die klare Definition von Begriffen und die Darstellung aktueller Trends liefert die Studie einen wertvollen Leitfaden für Forscher und Praktiker. Ziel ist es, die Handhabung von Attention Sink im heutigen Transformer‑Paradigma zu erleichtern und gleichzeitig neue Ideen für die nächste Generation von Modellen zu inspirieren. Die vollständige Liste der zitierten Arbeiten ist unter https://github.com/ZunhaiSu/Awesome-Attention-Sink verfügbar.