TaperNorm: Normenfrei in Transformers – stabile Trainings und schnellere Inferenz

Ein neues Verfahren namens TaperNorm ersetzt die herkömmliche Normalisierung in Transformer‑Modellen durch einen dynamischen, sample‑unabhängigen Linear‑Mapping. Während des Trainings verhält sich TaperNorm zunächst identisch mit RMSNorm oder LayerNorm, danach „tapered“ es sanft zu einer festen, lernbaren Skalierung. Durch einen globalen Gate‑Parameter, der von 1 auf 0 abklingt, werden per‑Token‑Statistiken schrittweise eliminiert, sodass die resultierenden Skalierungen in benachbarte lineare Projektionen integriert werden können.

Die Autoren zeigen theoretisch und empirisch, dass die Hauptfunktion der Ausgangsnormalisierung die „Scale‑Anchoring“ ist: Sie verhindert, dass die Logit‑Werte unkontrolliert wachsen („logit chasing“) und entfernt radiale Gradienten. Ohne diesen Anker würde die Kreuzentropie‑Verlustfunktion zu unbeschränktem Logit‑Wachstum führen. Zusätzlich demonstriert das Paper, dass ein einfacher, fester Ziel‑Auxiliary‑Loss auf die Skala des Pre‑Logit‑Residual‑Streams als alternative Ankerfunktion dient und die finale Normalisierungsebene abschaffen kann.

In praktischen Tests erreicht TaperNorm die gleiche Leistung wie normalisierte Baselines, während es gleichzeitig die per‑Token‑Statistiken entfernt und die Skalierungen in die benachbarten linearen Schichten einbettet. Auf einem Mikrobenchmark‑Test erhöht das Einfalten der internen Skalierungen die Durchsatzrate im Last‑Token‑Logit‑Modus um bis zu 1,22‑fach. Diese Ergebnisse markieren einen wichtigen Schritt hin zu norm‑freien Trainings- und Inferenzverfahren in Transformer‑Architekturen.