Neuron‑Pruning erfordert exponentiell mehr Neuronen als Gewicht‑Pruning

Eine neue Studie aus dem arXiv‑Repository (2603.02234v1) beleuchtet die theoretischen Grenzen von neuronaler Pruning‑Strategien im Vergleich zu herkömmlichem Gewicht‑Pruning. Das Strong Lottery Ticket Hypothesis (SLTH) besagt, dass große, zufällig initialisierte neuronale Netze bereits bei der Initialisierung über spärliche Unternetze verfügen, die ein Ziel‑Verhalten ohne Training approximieren können. Bislang konnten diese Erkenntnisse nur für unstrukturiertes Pruning – das Entfernen einzelner Gewichte – nachgewiesen werden.

Die Autoren untersuchten nun die Möglichkeit, einen einzelnen bias‑freien ReLU‑Neuron mit einem zufällig initialisierten bias‑freien Zwei‑Schicht‑ReLU‑Netz zu approximieren. Dabei isolierten sie die inhärenten Einschränkungen von neuronaler (strukturierter) Pruning. Ihre Resultate zeigen, dass für eine ε‑Approximation mindestens Ω(d/ε) versteckte Neuronen benötigt werden, während bei Gewicht‑Pruning bereits O(d log(1/ε)) Neuronen ausreichen. Das bedeutet einen exponentiellen Unterschied zwischen den beiden Paradigmen.

Diese Erkenntnis hebt die theoretische Lücke hervor, die bisher bei neuronaler Pruning lag, und unterstreicht, dass strukturierte Pruning‑Methoden im Vergleich zu unstrukturiertem Pruning deutlich weniger effizient sein können. Für die Praxis bedeutet dies, dass Entwickler bei der Auswahl von Pruning‑Strategien die Skalierbarkeit und die benötigte Netzwerkgröße stärker berücksichtigen sollten.