Transformers neu gedacht: Optimierungsbeschränkungen steigern Robustheit

In einer kürzlich veröffentlichten Studie auf arXiv wird ein neues Konzept vorgestellt, das Transformer‑Modelle mithilfe von Beschränkungen im Optimierungsprozess neu definiert. Durch die Einführung von schichtweisen Abwärtsbeschränkungen auf die Zielfunktion wird das Training von Transformern so gestaltet, dass die Modelle sich wie klassische Optimierungs­abstieg‑Algorithmen verhalten.

Der Ansatz ersetzt die herkömmliche empirische Risikominimierung (ERM) durch ein primal‑dual‑Trainingsschema. Dadurch erreichen die Zwischenschichten der Modelle einen monotonen Rückgang des Verlustes in Erwartung über alle Schichten hinweg. Diese strukturelle Eigenschaft sorgt dafür, dass die internen Repräsentationen des Netzwerks konsequent die Fehlerquote senken, anstatt sie zu schwanken.

Die Methode wurde sowohl auf unrolled‑Transformer‑Architekturen als auch auf vortrainierten Transformer‑Modellen getestet, wobei Aufgaben wie Video‑Rauschunterdrückung und Textklassifikation im Fokus standen. Die Ergebnisse zeigen, dass die beschränkten Transformer eine deutlich höhere Robustheit gegenüber Störungen aufweisen und die Generalisierung außerhalb der Trainingsverteilung verbessern, ohne die Leistung innerhalb der Verteilung zu beeinträchtigen.