Rotationsinvariante Pruning-Technik steigert neuronale Effizienz

Ein neues arXiv-Papier (2511.16061v1) präsentiert einen innovativen Ansatz zur strukturierten Pruning von neuronalen Netzen. Im Gegensatz zu herkömmlichen Methoden, die ganze Neuronen oder Kanäle entfernen, nutzt der Ansatz sogenannte Change‑of‑Basis (CoB) Pruning‑Techniken. Dabei werden orthogonale lineare Transformationen eingesetzt, um die Wichtigkeit der Parameter auf bestimmte Dimensionen zu konzentrieren.

Der Hauptschlüssel zum Erfolg liegt in der Einführung von Two‑Subspace Radial Activations (TSRAs). Diese Aktivierungsfamilie ist invariant gegenüber orthogonalen Transformationen, die unabhängig in zwei Subräumen angewendet werden. Durch diese Invarianz können die CoB‑Transformationen nahtlos in die bestehenden Gewichte integriert werden, ohne zusätzliche Parameter zu erzeugen.

Obwohl die Autoren keine umfassende Analyse aller möglichen TSRAs durchführen und die Gewichtseinitialisierung nicht behandeln, zeigen erste Experimente mit VGG‑16 auf CIFAR‑10 vielversprechende Ergebnisse. Unter einem festen Pruning‑Verhältnis verbessert CoB die Genauigkeit gegenüber einem TSRA‑Baseline bei allen Raten und verschiebt die zuverlässige Pruning‑Grenze von etwa 30 % auf 70 % der Parameter – und das ohne nachträgliches Feintuning. Der einzige Nachteil ist ein moderater Genauigkeitsverlust von 4,52 % im Vergleich zu einem ReLU‑basierten Kontrollmodell.

Dieses Proof‑of‑Concept legt nahe, dass ein rotationsinvariante Design ein systematischer Ansatz für Change‑of‑Basis Pruning sein kann. Weitere Untersuchungen zu verschiedenen TSRAs und Optimierungsstrategien könnten die Leistung noch weiter steigern.