Effektive Dimension vorhersagt Deep‑Net‑Leistung – neue Studie

Eine kürzlich veröffentlichte Arbeit auf arXiv untersucht, wie die Geometrie der Repräsentationen in tiefen neuronalen Netzwerken die Modellleistung beeinflusst. Die Autoren analysierten 52 vortrainierte ImageNet‑Modelle aus 13 Architekturfamilien und fanden heraus, dass die sogenannte Effective Dimension – ein rein geometrisches, unüberwachtes Maß – die Genauigkeit stark vorhersagen kann.

Der Zusammenhang ist beeindruckend: Nach Kontrolle für die Modellkapazität erreicht die Effective Dimension einen partiellen Korrelationskoeffizienten von r = 0,75 (p < 10⁻¹⁰), während die Gesamtkompression einen partiellen r = –0,72 aufweist. Diese Ergebnisse lassen sich sowohl auf ImageNet als auch auf CIFAR‑10 übertragen und gelten auch für NLP‑Modelle. Bei acht Encoder‑Modellen auf SST‑2/MNLI und 15 decoder‑only LLMs auf AG News liegt die Korrelation zwischen Effective Dimension und Leistung bei r = 0,69 (p = 0,004), während die Modellgröße kaum einen Zusammenhang zeigt (r = 0,07).

Die Studie geht noch einen Schritt weiter und demonstriert kausale Zusammenhänge: Durch gezielte Rausch‑Einführung wird die Geometrie verschlechtert, was zu einem Accuracy‑Verlust von r = –0,94 (p < 10⁻⁹) führt. Umgekehrt bewahrt die Verbesserung der Geometrie mittels PCA die Genauigkeit über verschiedene Architekturen hinweg (Differenz von –0,03 pp bei 95 % Varianz). Diese Effekte sind unabhängig von der Rauschart – Gaussian, Uniform, Dropout oder Salt‑and‑Pepper – und zeigen |r| > 0,90.

Zusammengefasst liefert die Effective Dimension ein domänenübergreifendes, label‑freies Werkzeug, das sowohl die Leistung von Deep‑Net‑Modellen vorhersagen als auch kausal beeinflussen kann. Diese Erkenntnisse eröffnen neue Wege, um die Architektur und das Training von neuronalen Netzwerken gezielt zu optimieren.