Neue theoretische Grenzen für die Kompression breiter Multilayer-Perzeptronen

Forscher haben einen neuen, rigorosen Ansatz zur Kompression von neuronalen Netzwerken vorgestellt, der die bisherige Lücke zwischen Praxis und Theorie schließt. Durch einen zufälligen, gierigen Algorithmus für Pruning und Quantisierung nach dem Training zeigen sie, dass es möglich ist, leistungsfähige Teilnetzwerke in breiten Multilayer-Perzeptronen (MLPs) zu finden, die die ursprüngliche Leistung nahezu unverändert behalten.

Der Ansatz geht über klassische Techniken hinaus und liefert eine einheitliche Analyse für strukturiertes Pruning sowohl bei MLPs als auch bei Convolutional Neural Networks (CNNs). Dabei werden keine Datenannahmen benötigt, was die Generalität der Ergebnisse unterstreicht. Ein zentrales Ergebnis ist die Entdeckung eines klaren Kompromisses zwischen Kompressibilität und Netzwerkbreite, der die Grenzen der Kompression in großen Modellen präzise beschreibt.

Der Algorithmus erinnert an das klassische Optimal Brain Damage (OBD), ist jedoch eine post‑training, zufällige Variante. Durch diese Verbindung von bewährten Ideen und neuer theoretischer Fundierung liefert die Studie nicht nur eine mathematische Rechtfertigung für die erfolgreiche Kompression breiter Netzwerke, sondern legt auch den Grundstein für zukünftige Optimierungen in der Praxis.