Neue Generalisierung der impliziten Dynamik beim In-Context-Lernen

In der aktuellen Forschung wird In-Context-Lernen (ICL) als die Fähigkeit von Modellen beschrieben, neue Aufgaben allein durch Beispiele im Eingabetext zu erlernen, ohne Parameter zu aktualisieren. Ein jüngeres Ergebnis zeigte, dass ein abstrahiertes Transformer‑Block‑Modell die Gewichte seines Feed‑Forward‑Netzes implizit an den Kontext anpasst. Die neue Studie erweitert dieses Konzept auf drei wesentliche Dimensionen: erstens auf alle Sequenzpositionen, die über die letzte hinausgehen; zweitens auf jeden Transformer‑Block ab dem zweiten; und drittens auf realistischere Residual‑Blöcke, die Layer‑Normalisierung enthalten.

Die Autoren haben die erweiterte Theorie anhand einfacher In-Context‑Lineare‑Regression‑Aufgaben getestet. Dabei untersuchten sie, wie die impliziten Updates von Token innerhalb eines Blocks und zwischen verschiedenen Blöcken zusammenhängen. Die Ergebnisse bestätigen die theoretische Vorhersage und zeigen, dass die Dynamik des Modells tatsächlich durch den Kontext gesteuert wird, selbst in komplexeren Architekturen.

Diese Erkenntnisse bringen die bisher theoretische Arbeit von Dherin und Kollegen noch näher an die Praxis und eröffnen neue Möglichkeiten, die Theorie auf groß angelegte Modelle zu validieren. Die Studie liefert damit einen wichtigen Schritt zur besseren Verständlichkeit und Optimierung von In-Context-Lernmechanismen in modernen Transformer‑Systemen.