Bidirektionale Pruning‑Regrowth: Mehr Sparsity ohne Qualitätsverlust

Model‑Pruning ist seit Jahren ein bewährtes Verfahren zur Kompression von neuronalen Netzen. Durch gezieltes Entfernen von Gewichten lassen sich Modelle deutlich kleiner machen, ohne die Genauigkeit wesentlich zu beeinträchtigen. Doch sobald die Sparsity einen kritischen Schwellenwert überschreitet, sinkt die Leistung plötzlich stark – ein Phänomen, das die maximale Kompression begrenzt und viele Hardware‑Plattformen vor ein Problem stellt.

Um diese Grenze zu überwinden, schlägt die neue Studie einen bidirektionalen Pruning‑Regrowth‑Ansatz vor. Statt nur Gewichte zu entfernen, beginnt das Verfahren mit einem extrem komprimierten Netzwerk, das bereits die Vorgaben der Zielhardware erfüllt. Anschließend werden gezielt die wichtigsten Verbindungen wiederhergestellt, um die verlorene Genauigkeit zurückzugewinnen.

Durch die Kombination von starkem Pruning und selektiver Regrowth kann die Methode die typische Genauigkeitskippung bei hoher Sparsity deutlich reduzieren. Das Ergebnis ist ein Modell, das sowohl die gewünschten Speicher‑ und Rechenanforderungen erfüllt als auch die Leistungsfähigkeit nahezu unverändert behält – ein bedeutender Fortschritt für die effiziente KI‑Entwicklung.