Neues Kriterium „Expressiveness“ revolutioniert neuronale Netzwerk‑Kompression

In der Welt der künstlichen Intelligenz hat die Pruning‑Technik bereits gezeigt, wie man Modelle schlanker und energieeffizienter macht, ohne dabei die Leistung zu verlieren. Jetzt kommt ein völlig neues Konzept: „Expressiveness“. Dieses Kriterium bewertet, wie gut ein Neuron oder eine Gruppe von Neuronen Informationen umverteilen kann, basierend auf der Überlappung ihrer Aktivierungen. Im Gegensatz zu herkömmlichen Methoden, die sich auf die Wichtigkeit einzelner Gewichte stützen, ist Expressiveness völlig unabhängig vom Lernzustand des Netzwerks und kann bereits im Initialisierungsstadium beurteilt werden.

Die Autoren zeigen, dass Expressiveness mit beliebigen Daten oder wenigen repräsentativen Stichproben aus dem Trainingsdatensatz approximiert werden kann. Das eröffnet völlig neue, datenagnostische Kompressionsstrategien, die nicht auf großen Datensätzen angewiesen sind. Darüber hinaus lässt sich Expressiveness nahtlos mit traditionellen Importance‑basierten Verfahren kombinieren, was zu einem hybriden Ansatz führt, der bis zu zehnmal bessere Kompressionsraten erzielt – mit durchschnittlich nur 1 % Leistungsverlust.

Ein besonders eindrucksvolles Ergebnis wurde bei YOLOv8 erzielt: Durch gezieltes Pruning nach dem Expressiveness‑Kriterium konnten 55,4 % der Parameter entfernt werden, was zu einer Reduktion der MAC‑Operationen um 46,1 % führt. Diese Zahlen demonstrieren, dass Expressiveness nicht nur ein theoretisches Konzept ist, sondern praktisch die Effizienz von Deep‑Learning‑Modellen deutlich steigern kann.