Tabellarische ICL-Modelle: Layer-Analyse zeigt Redundanz und Kompression

Ein brandneues arXiv‑Veröffentlichung (ArXiv:2511.15432v1) beleuchtet, wie einzelne Schichten in tabellarischen In‑Context‑Learning‑Modellen (ICL) zur Vorhersage beitragen. Trotz der architektonischen Ähnlichkeit zu großen Sprachmodellen (LLMs) blieb bislang wenig über die Rolle einzelner Layer bekannt.

Die Autoren untersuchen die Entwicklung der latenten Räume über die Schichten hinweg, identifizieren potenziell redundante Layer und vergleichen diese Dynamiken mit denen in LLMs. Dabei analysieren sie die Modelle TabPFN und TabICL aus der Perspektive „Layer als Maler“ und zeigen, dass nur ausgewählte Schichten ein gemeinsames Repräsentations‑Sprachmuster teilen.

Diese Erkenntnisse deuten auf strukturelle Redundanz hin und eröffnen Möglichkeiten zur Modellkompression sowie zu einer verbesserten Interpretierbarkeit. Die Arbeit liefert damit wertvolle Einblicke, wie tabellarische ICL‑Modelle effizienter gestaltet werden können, ohne die Leistungsfähigkeit zu beeinträchtigen.