Initialisierung entscheidet: Ist In‑Context‑Lernen Gradient Descent?

In‑Context‑Learning (ICL) ist ein faszinierendes Phänomen bei großen Sprachmodellen, dessen Funktionsweise jedoch noch nicht vollständig geklärt ist. Frühere Untersuchungen haben Linear Self‑Attention (LSA) mit Gradient Descent (GD) in Verbindung gebracht, allerdings nur unter stark vereinfachten Bedingungen wie Null‑Mittelwert‑Gauss‑Prioren und einer Null‑Initialisierung für GD.

Neuere Studien haben diese vereinfachte Sichtweise infrage gestellt und gezeigt, dass bei komplexeren Strukturen – etwa bei mehrschichtigen oder nichtlinearen Aufmerksamkeiten – die Selbstaufmerksamkeit eine optimierungsähnliche Inferenz durchführt, die zwar GD ähnelt, aber nicht identisch ist. Die aktuelle Arbeit untersucht, wie Multi‑Head LSA unter realistischeren Bedingungen, insbesondere bei nicht‑null‑Mittelwert‑Gauss‑Prioren in linearen Regressionsmodellen von ICL, GD approximiert.

Der Ansatz erweitert die Multi‑Head LSA‑Einbettungsmatrix um eine anfängliche Schätzung des Queries, die als „initial guess“ bezeichnet wird. Die Autoren beweisen eine obere Schranke für die notwendige Anzahl an Köpfen im ICL‑Lineare‑Regression‑Setup und bestätigen diese theoretische Erkenntnis durch Experimente. Dabei bleibt ein Leistungsunterschied zwischen ein‑Schritt‑GD und Multi‑Head LSA bestehen.

Um diese Lücke zu schließen, führen die Forscher yq‑LSA ein – eine einfache Erweiterung des Single‑Head LSA mit einem trainierbaren initialen Schätzwert yq. Sie zeigen theoretisch, dass yq‑LSA die gewünschten Eigenschaften besitzt, und validieren die Ergebnisse anschließend experimentell an linearen Regressionsaufgaben. Damit wird die Theorie, die ICL und GD verbindet, weiter ausgebaut.

Die Erkenntnisse aus dem linearen Regressionsfall inspirieren die Autoren zu weiteren Untersuchungen, die das Verständnis von ICL in noch komplexeren Modellen vertiefen sollen.