Neues Spektralmodell erklärt Skalierung und Kompression von neuronalen Netzen
Wissenschaftler haben ein neues, umfassendes Spektralmodell vorgestellt, das die bekannten Skalierungsgesetze für neuronale Netzwerke mit den bislang getrennt betrachteten Kompressionsverhalten verbindet. Das Modell beschreibt, wie Testverluste und andere Leistungskennzahlen von Modellgröße, Datensatzgröße und Rechenleistung abhängen und liefert gleichzeitig einen theoretischen Rahmen für die Effekte von Modellkompression.
