Frühzeitiges Stoppen macht Loss‑Reweighting wirksam – Trainingsdynamik

In der aktuellen Forschung zeigt sich, dass die Technik des Loss‑Reweightings in modernen Deep‑Learning‑Modellen vor allem in den frühen Trainingsphasen einen deutlichen Vorteil bietet. Obwohl sie die Endphase des Lernens in überparametrisierten neuronalen Netzen – insbesondere bei hochdimensionalen Datensätzen – nicht grundlegend verändert, verbessert sie die Lernkurve für unterrepräsentierte Klassen erheblich.

Um dieses Phänomen transparent zu demonstrieren, wurde ein kleines, abstrahiertes Modell (SSM) entwickelt. Das SSM reduziert die Komplexität von Netzwerkarchitektur und Eingabedaten auf ein Minimum, behält jedoch die wesentlichen Informationen über das Ungleichgewicht in den spektralen Komponenten bei. Dadurch lässt sich die Trainingsdynamik in einer klaren, nachvollziehbaren Umgebung untersuchen.

Die Ergebnisse des SSM zeigen, dass ein klassisches empirisches Risiko‑Minimierungsverfahren in den ersten Trainingsschritten vorwiegend Merkmale der Mehrheitsklassen erlernt. Dadurch verzögert sich das Lernen für Minderheitsklassen erheblich. Im Gegensatz dazu sorgt das Reweighting dafür, dass die Lernprozesse für beide Klassen gleichmäßig voranschreiten. Dadurch werden gleichzeitig Merkmale der Mehrheits- und Minderheitsklassen erfasst, was die Gesamtleistung des Modells verbessert.