Bayessche Kalman-Filter revolutionieren In-Context-Lernen in LLMs
Ein neues arXiv‑Veröffentlichung (2601.06100v1) präsentiert einen theoretisch fundierten Ansatz, der die Anpassung von großen Sprachmodellen (LLMs) während der Inferenz als Online‑Bayessche Zustandsschätzung interpretiert. Anstatt schnelle Anpassungen als implizite Optimierung oder Meta‑Learning zu modellieren, wird das Lernen für spezifische Aufgaben und Kontexte als sequentielle Inferenz eines niedrigdimensionalen latenten Zustands formuliert, der von einem linearisierten Zustandsraummodell gesteuert wird.
