Neues Spektralmodell erklärt Skalierung und Kompression von neuronalen Netzen

Wissenschaftler haben ein neues, umfassendes Spektralmodell vorgestellt, das die bekannten Skalierungsgesetze für neuronale Netzwerke mit den bislang getrennt betrachteten Kompressionsverhalten verbindet. Das Modell beschreibt, wie Testverluste und andere Leistungskennzahlen von Modellgröße, Datensatzgröße und Rechenleistung abhängen und liefert gleichzeitig einen theoretischen Rahmen für die Effekte von Modellkompression.

Durch die Erweiterung der klassischen Spektralentwicklungsfunktion von der linearen Form g(λt)=λt zu einer asymptotisch polynomialen Funktion g(λ,t;β) wird ein neuer Parameter eingeführt: die effektive spektral‑zeitliche Elastizität ρ(β). Dieser Parameter ermöglicht es, sowohl das „lazy learning“ als auch die Feature‑Learning‑Theorien als Spezialfälle des Modells abzubilden.

Das Ergebnis ist eine invariantierte Beziehung zwischen Lern- und Kompressionsdynamiken, die bisherige, scheinbar widersprüchliche Skalierungsmuster in einem einheitlichen mathematischen Rahmen zusammenführt. Das Modell liefert damit ein kraftvolles Werkzeug, um die Leistung von neuronalen Netzwerken systematisch zu verstehen und zu optimieren.