Preconditioned Attention: Effizienzsteigerung für Transformer

Der Attention-Block ist das Herzstück moderner Transformer-Modelle und ermöglicht die Modellierung globaler Abhängigkeiten zwischen Eingabetoken. Doch unsere theoretische Untersuchung zeigt, dass herkömmliche Attention-Mechanismen häufig schlecht konditionierte Matrizen erzeugen, deren hohe Konditionszahlen die Effizienz von gradientenbasierten Optimierern stark beeinträchtigen.

Um dieses Problem zu lösen, stellen wir Preconditioned Attention vor – einen einfachen, aber wirkungsvollen Ansatz, bei dem jeder Attention-Kopf mit einer Konditionierungsmatrix erweitert wird. Die Analyse beweist, dass dadurch die Konditionszahl der Attention-Matrizen deutlich reduziert wird, was zu besser konditionierten Matrizen und einer verbesserten Optimierung führt. Das Verfahren kann als Drop‑in‑Ersetzung für zahlreiche bestehende Attention-Varianten eingesetzt werden.

Wir haben die Wirksamkeit von Preconditioned Attention in einer breiten Palette von Transformer-Anwendungen getestet, darunter Bildklassifikation, Objekterkennung, Instanzsegmentierung, Langsequenzmodellierung und Sprachmodellierung. In allen Fällen zeigte sich eine spürbare Steigerung der Trainingsgeschwindigkeit und der Modellleistung.