Malignant Tail: Warum Überparameterisierte Netze bei Label‑Noise versagen

Eine brandneue Veröffentlichung auf arXiv beleuchtet, warum moderne neuronale Netze bei steigender Rauschanteil plötzlich von gutem zu schädlichem Overfitting übergehen. Die Autoren zeigen, dass ein klarer Phasenübergang stattfindet, sobald das Verhältnis von Rauschen zu Signal einen kritischen Schwellenwert überschreitet.

Im Zentrum steht das Phänomen „Malignant Tail“. Hier trennen sich Netzwerke geometrisch: Die semantisch relevanten Signal‑Features werden in niedrigdimensionale, kohärente Subräume gedrängt, während das stochastische Label‑Noise in hochfrequente, orthogonale Komponenten verschoben wird. Dieser Mechanismus unterscheidet sich deutlich von systematischem oder korruptionsbasiertem Rauschen.

Durch einen Spectral Linear Probe der Trainingsdynamik konnten die Forscher nachweisen, dass der klassische Stochastic Gradient Descent (SGD) das Rauschen nicht unterdrückt, sondern es gezielt in diese hochfrequenten Subräume drängt. Dadurch bleibt die Trennung von Signal und Rauschen erhalten – ein Effekt, der bei untrainierten Modellen nicht beobachtet wird.

Die Lösung ist elegant: Nach dem Training kann man mit einer expliziten Spectral Truncation (d ≪ D) das noise‑dominiert Subspace chirurgisch entfernen. Diese post‑hoc‑Intervention stellt die optimale Generalisierungsfähigkeit des Modells wieder her und bietet eine stabile Alternative zu instabilen Early‑Stopping‑Methoden.

Die Ergebnisse legen nahe, dass die übermäßige spektrale Kapazität von überparameterisierten Netzen keine harmlose Redundanz darstellt, sondern ein strukturelles Risiko birgt, das stochastisches Rauschen speichert. Um robuste Generalisierung zu gewährleisten, sind daher explizite Rangbeschränkungen erforderlich, die das Memorieren von zufälligen Label‑Fehlern verhindern.