Transformers im geschlossenen Kreislauf: Iteratives Latent-Äquilibrium

Moderne autoregressive Transformer‑Modelle arbeiten bislang im „Open‑Loop“: jedes versteckte Zustandsvektor wird in einem einzigen Vorwärtsschritt berechnet und anschließend nicht mehr angepasst. Diese Vorgehensweise führt dazu, dass Fehler unverändert durch die Sequenz weitergetragen werden, was besonders bei langen Texten zu Problemen bei der Faktenkonsistenz, der logischen Planung und dem langen‑Range‑Reasoning führt.

Um dieses fundamentale Architekturproblem zu lösen, wurde das Konzept des „Closed‑Loop Prediction“ eingeführt. Dabei werden die latenten Repräsentationen iterativ verfeinert, bis ein selbstkonsistentes Gleichgewicht erreicht ist, bevor ein Token endgültig ausgegeben wird. Dieses Prinzip bildet die Grundlage für die neuen Equilibrium Transformers (EqT).

EqT erweitert herkömmliche Transformer‑Schichten um ein Equilibrium‑Refinement‑Modul, das eine lernbare Energiefunktion minimiert. Durch Gradient‑Descent‑Optimierung im latenten Raum wird die Energiefunktion so gestaltet, dass bidirektionale Vorhersagekonsistenz, episodisches Gedächtnis und Ausgabevertrauen ohne externe Supervision sichergestellt werden. Theoretisch wurde gezeigt, dass EqT eine annähernde MAP‑Inference in einem latenten energiebasierten Modell durchführt, lineare Konvergenz garantiert und insbesondere bei schwierigen Instanzen, bei denen One‑Shot‑Inference versagt, signifikante Verbesserungen erzielt.

Die vorgestellte Architektur vereint Deep‑Equilibrium‑Modelle, Diffusions‑Sprachmodelle und Test‑Time‑Training als spezielle Fälle. Erste Experimente am binären Paritäts‑Task zeigten einen durchschnittlichen Leistungszuwachs von +3,28 % bei herausfordernden Sequenzen, wobei die Verbesserung auf bis zu +8,07 % anstieg, wenn Standard‑Transformers bereits nahe dem Zufall lagen.