Zwei getrennte Mechanismen im In‑Context Learning: Task Schema und Binding
Eine neue Studie aus dem arXiv‑Repository hat gezeigt, dass das Phänomen des In‑Context Learning (ICL) nicht ein einziges, monolithisches Verfahren ist, sondern aus zwei klar unterscheidbaren Mechanismen besteht: dem Task Schema – der Erkennung abstrakter Aufgabenarten – und dem Binding – der Zuordnung spezifischer Eingabe‑Ausgabe‑Paarungen.
Die Forscher führten Aktivierungs‑Patching‑Experimente an neun Modellen aus sieben Transformer‑Familien sowie dem nicht‑Transformer‑Modell Mamba (370 M bis 13 B Parameter) durch. Durch gezielte Störungen in den late MLP‑ und Residual‑Stream‑Schichten konnten sie die beiden Mechanismen voneinander trennen und ihre jeweiligen Transferfähigkeiten messen.
Die wichtigsten Ergebnisse sind: 1) Double Dissociation – das Task Schema überträgt sich zu 100 % über late‑MLP‑Patching, während Binding nur zu 62 % über Residual‑Stream‑Patching übergeht. 2) Prior‑Schema‑Trade‑off – die Abhängigkeit vom Task Schema sinkt, wenn das Modell über mehr Vorwissen verfügt (Spearman‑Rho = ‑0,596, p < 0,001, N = 28). 3) Architekturübergreifende Generalität – die Mechanismen funktionieren in allen getesteten Architekturen, einschließlich des Mamba‑Modells.
Diese Befunde liefern einen kausalen, mechanistischen Ansatz zur Erklärung von ICL und unterstützen die Idee zweier Prozesse. Modelle greifen auf das Task Schema zurück, wenn Vorwissen fehlt, und lassen sich durch Aufmerksamkeits‑Fehllenken (72,7 % Recency‑Bias) stören, anstatt durch direkte Konkurrenz auf Ausgabebasis. Das erklärt, warum zufällige Zuordnungen funktionieren, aber Fakten‑Overrides scheitern – das eigentliche Engpass ist die Aufmerksamkeit, nicht die Ausgabe‑Ebene.
Die Erkenntnisse haben praktische Konsequenzen für die Entwicklung von KI‑Systemen: Durch gezielte Optimierung von Task Schema und Binding können Modelle effizienter lernen, und das Verständnis der Aufmerksamkeits‑Mechanismen eröffnet neue Wege, um die Leistungsfähigkeit von In‑Context Learning in realen Anwendungen zu steigern.