Transformer meistern Modulare Addition trotz Positionsverschiebung

In einer neuen Studie wird gezeigt, wie sich charakterbasierte Transformer-Modelle dazu bringen lassen, Modulare Addition aus rein textuellen Eingaben zuverlässig zu berechnen. Dabei liegt der Fokus nicht mehr nur auf der Genauigkeit innerhalb der Trainingsverteilung, sondern auf der Robustheit gegenüber Änderungen im Eingabeformat.

Die Autoren entdecken einen bislang wenig beachteten Fehlermechanismus: Modelle, die innerhalb der Trainingsdaten eine sehr hohe Trefferquote erzielen, können bei einer Positionsverschiebung der Zeichenfolge oder bei der Verwendung von völlig neuen, natürlichen Sprachvorlagen komplett versagen. Ein Basismodell, das bei einer disjunkten Paaraufteilung für p = 97 hervorragende Ergebnisse liefert, bricht unter solchen Bedingungen zusammen.

Zur Lösung des Problems wird ein einfaches, aber wirkungsvolles Trainingsverfahren vorgestellt. Es kombiniert explizite Grenzmarkierungen für Ausdrücke, ein Positions-Curriculum, das die Reichweite der absoluten Positionen im Training erweitert, vielfältige Template-Mischungen und Konsistenztraining über mehrere Varianten desselben Beispiels. In drei unabhängigen Läufen verbessert diese Intervention die Robustheit gegenüber Positionsverschiebungen und Out‑of‑Distribution‑Vorlagen erheblich, während die In‑Distribution‑Genauigkeit erhalten bleibt. Eine Ablation mit einer ALiBi‑ähnlichen Strategie hingegen führt das Modell nicht zum Erfolg.

Die Ergebnisse unterstreichen, dass die gezielte Förderung von Invarianten – die in der Datenverteilung nicht vorhanden sind – die prozedurale Generalisierung unter unsicherer Supervision deutlich verbessert. Die Autoren stellen zudem ein reproduzierbares Evaluierungsprotokoll sowie die zugehörigen Artefakte zur Verfügung, sodass die Community die Ansätze leicht nachvollziehen und weiterentwickeln kann.