Transformer-MLPs: Hälfte der Nichtlinearität verschwendet – spart Rechenleistung

Eine neue Studie auf arXiv zeigt, dass bei Transformer‑Modellen bis zu die Hälfte der nichtlinearen Berechnungen im MLP‑Block unnötig ist. Durch einen einfachen Gate‑Mechanismus, der nur d + 1 Parameter benötigt, kann entschieden werden, ob ein voller MLP durch eine lineare Ersatzmatrix ersetzt werden soll.

Der Gate‑Ansatz ist vollständig kontextabhängig und lässt sich nicht anhand der Token‑Identität vorhersagen – die Korrelation zwischen Token und Nichtlinearitätsbedarf liegt bei r < 0,05. Trotzdem nutzt das System die stark unausgeglichenen Verteilung der Rechenaufgaben aus: In GPT‑2 werden 25 – 56 % der MLP‑Berechnungen linearisiert, ohne dass die Perplexität um mehr als 1 % steigt.

Bei GPT‑2 Large übertrifft die Gating‑Strategie 11 von 36 Schichten die Basislinie, wobei keine Schicht mehr als 3,7 % der Rechenzeit linear nutzt. Bei Pythia‑Modellen sind die Kosten höher, jedoch zeigt ein vollständiger Sweep von 32 Schichten bei Pythia‑2,8 B eine einzelne Schicht, die knapp die Basislinie übertrifft. Als Proof‑of‑Concept wurden mittlere Schichten mit festen linearen Matrizen ersetzt – fünf von 24 Schichten konnten ohne Kosten linearisiert werden. Mit vollem Trainingsbudget verbesserte sich die Perplexität um 10,2 % und ein zweiphasiger, gated Ansatz steigerte die Leistung auf 17,3 %, was die ursprünglichen nichtlinearen MLPs als schädlich bestätigt.

Die Ergebnisse deuten darauf hin, dass viele Transformer‑Modelle mit deutlich weniger Rechenaufwand trainiert und betrieben werden können, ohne die Qualität zu verlieren. Gleichzeitig eröffnet die Erkenntnis, dass nichtlineare Komponenten in bestimmten Schichten sogar nachteilig sein können, neue Wege für effizientere Architektur‑Designs und gezielte Optimierungen im Training.