Neural Collapse: Ausrichtung entscheidend für Long‑Tail‑Lernen

Neural Collapse (NC) beschreibt ein faszinierendes Phänomen, bei dem die Mittelwerte der Klassenfeatures und die Klassifikatorgewichte sich spontan zu einer simplex‑equiangularen Tight‑Frame‑Struktur (ETF) ausrichten. In ausgewogenen Datensätzen führt diese Ausrichtung zu einer bemerkenswerten Generalisierung. Bei Long‑Tail‑Daten, bei denen einige Klassen stark unterrepräsentiert sind, verhindert die starke Ungleichheit jedoch häufig die Entstehung von NC, was die Leistung der Modelle erheblich beeinträchtigt.

Die aktuelle Forschung konzentriert sich meist darauf, die ETF‑Geometrie durch Einschränkungen auf Features oder Gewichte zu erzwingen. Dabei wird jedoch ein entscheidender Faktor übersehen: die deutliche Fehlanpassung zwischen dem Feature‑Raum und dem Gewicht‑Raum. In einer theoretischen Analyse wurde gezeigt, dass diese Fehlanpassung die Fehlerexponenten stark verschlechtert und damit die Lernfähigkeit einschränkt.

Auf dieser Erkenntnis basierend wurden drei konkrete Ausrichtungsstrategien entwickelt, die ohne Änderungen an der Modellarchitektur in bestehende Long‑Tail‑Methoden integriert werden können. Durch gezielte Optimierung der Feature‑Gewicht‑Ausrichtung wird die Entstehung von NC gefördert, was zu einer signifikanten Leistungssteigerung führt.

Umfangreiche Experimente auf den Datensätzen CIFAR‑10‑LT, CIFAR‑100‑LT und ImageNet‑LT haben gezeigt, dass die neuen Strategien die Basismodelle konsequent verbessern und damit den aktuellen Stand der Technik übertreffen. Diese Ergebnisse unterstreichen die zentrale Rolle der Ausrichtung für die erfolgreiche Anwendung von Neural Collapse in realen, stark unausgeglichenen Lernumgebungen.