Quantisierung vs. Pruning: Neue Erkenntnisse aus der Strong Lottery Ticket Hypothesis

Quantisierung ist ein entscheidendes Verfahren, um neuronale Netzwerke effizienter zu machen. Trotz ihrer praktischen Bedeutung bleibt das theoretische Fundament jedoch noch unvollständig. In jüngster Zeit haben Forscher gezeigt, dass extrem niedrigpräzise Netzwerke – etwa binäre Modelle – durch das gezielte Entfernen von Gewichten aus großen, zufällig initialisierten Netzwerken entstehen können. Dabei liegt das Verhältnis der ursprünglichen zur gekürzten Netzwerkgröße höchstens polylogarithmisch.

Die dabei angewandte Prunetechnik hat eine ganze theoretische Strömung inspiriert, die als Strong Lottery Ticket Hypothesis (SLTH) bekannt ist. Sie nutzt Einsichten aus dem Random Subset Sum Problem, um zu erklären, warum bestimmte Unternetzwerke bereits die Leistung des Ganzen reproduzieren können. Allerdings beschränken sich die bisherigen SLTH-Ergebnisse auf kontinuierliche Modelle und lassen sich nicht direkt auf quantisierte Netzwerke übertragen.

Die neue Arbeit baut auf den Grundlagen von Borgs und Kollegen zum Number Partitioning Problem auf und erarbeitet damit neue theoretische Resultate für das Random Subset Sum Problem im quantisierten Kontext. Mit diesen Erkenntnissen wird das SLTH-Framework auf endlichpräzise Netzwerke ausgeweitet. So wird gezeigt, dass die Zielnetzwerke – die aus diskreten Gewichten bestehen – exakt dargestellt werden können, und es werden optimale Grenzen für die notwendige Überparameterisierung des Ausgangsnetzes in Abhängigkeit von der Zielpräzision nachgewiesen.