Initial Bias in Deep Networks: Wie Verlustfunktionen die Lernphase beeinflussen
Untrainierte, große neuronale Netzwerke zeigen unmittelbar nach der zufälligen Initialisierung ein starkes Vorzeichen: Sie bevorzugen ein kleines Subset an Klassen und weisen diesen Klassen hohe Vorhersagewahrscheinlich…