Bayessche Optimierung von In-Context Learning mit selektiven Zustandsräumen

In einer kürzlich veröffentlichten Arbeit auf arXiv (2602.17744v1) stellen die Autoren ein neues Prinzip vor, das In-Context Learning (ICL) als bayessche optimale sequentielle Vorhersage interpretiert. Dabei wird ICL als Meta-Lernen über latente Sequenzaufgaben formalisiert, was einen deutlichen Bruch mit bisherigen Interpretationen markiert, die Transformers als implizite Gradientenabstiegsverfahren sehen.

Für Aufgaben, die durch lineare Gaußsche Zustandsraummodelle (LG-SSMs) beschrieben werden, zeigen die Forscher, dass ein selektives Zustandsraummodell, das mittels Meta-Training optimiert wurde, asymptotisch den Bayes-optimalen Prädiktor implementiert. Das bedeutet, dass das Modell im Grenzfall den posterioren Vorhersagewert exakt erreicht.

Ein weiteres Highlight ist die statistische Trennung von Gradientenabstieg. Durch die Konstruktion von Aufgaben mit zeitlich korreliertem Rauschen demonstrieren die Autoren, dass der bayessche Prädiktor jede Form von empirischem Risiko-Minimierungs-Estimator (ERM) übertrifft. Da Transformer-Modelle im Wesentlichen als implizite ERM-Algorithmen fungieren, erklärt dies, warum selektive Zustandsraummodelle eine niedrigere asymptotische Fehlerquote erzielen – dank ihrer überlegenen statistischen Effizienz.

Experimentell wurden die theoretischen Erkenntnisse auf synthetischen LG-SSM-Aufgaben sowie auf einem charakterbasierten Markov-Benchmark getestet. Die Ergebnisse zeigen, dass selektive Zustandsraummodelle schneller zum Bayes-optimalen Risiko konvergieren, bei längeren Kontexten eine bessere Stichproben-Effizienz aufweisen und latente Zustände robuster verfolgen als lineare Transformer. Diese Befunde verschieben die Perspektive von „impliziter Optimierung“ zu „optimaler Inferenz“ und liefern eine fundierte Grundlage für zukünftige Architekturgestaltungen.