Recursive Transformers: Durch Schleifen effizientere multimodale Modelle

In einer neuen Studie wird gezeigt, wie große multimodale Modelle (LMMs) durch geschicktes Wiederverwenden ihrer Parameter noch leistungsfähiger werden können, ohne die Modellgröße zu erhöhen. Der Ansatz, der als „Looping Back to Move Forward“ bezeichnet wird, nutzt rekursive Verfeinerung, um stärkere multimodale Repräsentationen zu erzeugen.

Das vorgestellte System, RecursiveVLM, baut auf einer rekursiven Transformer‑Architektur auf. Zwei zentrale Innovationen ermöglichen die effektive Schleifenbildung: Erstens ein Recursive Connector, der Features über die Rekursionsschritte hinweg ausrichtet, indem er Zwischenschicht‑Hidden‑States kombiniert und modulenspezifische Projektionen anwendet, um die unterschiedlichen statistischen Strukturen von Bild- und Texttokens zu berücksichtigen. Zweitens ein Monotonic Recursion Loss, der jeden Schritt überwacht und garantiert, dass die Leistung mit zunehmender Rekursionsstufe monoton steigt.

Durch diese Konstruktion wird Rekursion zu einem bedarfsorientierten Verfeinerungsmechanismus. Auf ressourcenbeschränkten Geräten liefert das Modell bereits bei wenigen Schleifen starke Ergebnisse, während bei mehr verfügbaren Rechenressourcen die Ausgaben schrittweise verbessert werden. Experimentelle Ergebnisse zeigen, dass RecursiveVLM im Vergleich zu Standard‑Transformern einen durchschnittlichen Gewinn von +3 % erzielt und gegenüber herkömmlichen rekursiven Baselines um +7 % besser abschneidet. Damit demonstriert die Studie, dass strategisches Schleifen ein wirkungsvoller Weg ist, um effiziente und anpassungsfähige multimodale Modelle zu entwickeln.