Starke Lotterie-Ticket-Hypothese gilt auch für Multi-Head-Attention in Transformers

Eine neue theoretische Untersuchung bestätigt, dass die starke Lotterie-Ticket-Hypothese (SLTH) – die besagt, dass leistungsfähige Teilnetzwerke in zufällig initialisierten neuronalen Netzen verborgen sind – auch bei Multi-Head-Attention (MHA) Mechanismen von Transformers anwendbar ist. Bislang fehlte die theoretische Grundlage für diese Kernkomponente, die in fast allen modernen Transformer‑Architekturen verwendet wird.

Die Autoren zeigen, dass ein zufällig initialisiertes MHA mit H Köpfen und Eingabedimension d – sofern die verborgene Dimension für Schlüssel und Wert etwa O(d log(Hd^{3/2})) beträgt – mit hoher Wahrscheinlichkeit ein starkes Lotterie-Ticket (SLT) enthält. Dieses SLT kann beliebige MHA‑Strukturen mit gleicher Eingabedimension nahezu exakt nachbilden.

Aufbauend auf dieser Resultate wird die SLTH auf Transformer‑Modelle ohne Normalisierungsschichten ausgeweitet. Experimentelle Tests belegen, dass der Approximationfehler zwischen dem SLT im Quellmodell und einem Zielmodell exponentiell abnimmt, wenn die verborgene Dimension des Quellmodells erhöht wird. Damit wird ein theoretischer Rahmen geschaffen, der die Effizienz und das Potenzial von Transformers weiter erklärt und optimiert.