KI News: Kurz und klar.

Ein neues arXiv‑Papier beleuchtet, wie große neuronale Netzwerke während des Trainings in stark reduzierten, niedrigdimensionalen Räumen arbeiten. Die Autoren zeigen, dass die Gewichtsdynamiken von Multi‑Layer‑Perceptrons (MLPs) unter Gradient‑Descent in invariantem, niedrigdimensionalem Unterraum konzentriert bleiben.

Ein brandneues arXiv‑Veröffentlichung (ArXiv:2511.15432v1) beleuchtet, wie einzelne Schichten in tabellarischen In‑Context‑Learning‑Modellen (ICL) zur Vorhersage beitragen. Trotz der architektonischen Ähnlichkeit zu großen Sprachmodellen (LLMs) blieb bislang wenig über die Rolle einzelner Layer bekannt.

Wissenschaftler haben ein neues, umfassendes Spektralmodell vorgestellt, das die bekannten Skalierungsgesetze für neuronale Netzwerke mit den bislang getrennt betrachteten Kompressionsverhalten verbindet. Das Modell beschreibt, wie Testverluste und andere Leistungskennzahlen von Modellgröße, Datensatzgröße und Rechenleistung abhängen und liefert gleichzeitig einen theoretischen Rahmen für die Effekte von Modellkompression.

In der aktuellen Forschung zur Modellkompression hat sich Knowledge Distillation (KD) als äußerst wirkungsvolle Methode etabliert. Dabei überträgt ein großes Lehrermodell sein Wissen an ein kompakteres Schülermodell. Trotz der bisherigen Erfolge bleibt die Frage offen, welche Faktoren die Effektivität von KD maßgeblich beeinflussen.