Transformer lernen dynamische Systeme: Transferoperatoren in Echtzeit

Ein neues arXiv‑Veröffentlichungsdokument (2602.18679v1) zeigt, wie kleine Transformer‑Modelle ohne erneutes Training dynamische Systeme vorhersagen können. Durch die Anwendung von Attention‑Mechanismen lernen die Modelle Transferoperatoren, die die Dynamik eines Systems in einem anderen Kontext replizieren.

Die Studie nutzt einen minimalen Ansatz: ein zweischichtiges, einzelköpfiges Transformer-Modell wird auf die Vorhersage eines einzigen dynamischen Systems trainiert. Anschließend wird seine Fähigkeit getestet, ein völlig anderes System zu prognostizieren, ohne dass das Modell erneut angepasst wird. Dabei wird ein frühes Gleichgewicht zwischen In‑Distribution‑ und Out‑of‑Distribution‑Leistung sichtbar, das ein zweites Double‑Descent‑Phänomen erzeugt.

Die Analyse zeigt, dass Attention‑Modelle eine Transfer‑Operator‑Vorhersage‑Strategie anwenden: Sie erweitern die Zeitreihen mittels Delay‑Embedding, um das höhere dimensionalen Dynamik‑Manifold zu erkennen, und identifizieren anschließend langlebige invariante Mengen, die den globalen Fluss auf diesem Manifold beschreiben. Diese Mechanismen ermöglichen es, globale Attraktor‑Informationen für kurzfristige Vorhersagen zu nutzen.

Die Ergebnisse verdeutlichen, warum große vortrainierte Modelle in der Lage sind, unbekannte physikalische Systeme ohne erneutes Training zu prognostizieren, und heben die besondere Fähigkeit von Attention‑Modellen hervor, globale Strukturen für präzise Kurzzeitvorhersagen zu nutzen.