Bayessche Lotterie-Ticket-Hypothese: Sparsame Netzwerke in BNNs

Bayessche neuronale Netzwerke (BNNs) ermöglichen eine robuste Unsicherheitsquantifizierung, erfordern jedoch deutlich mehr Rechenleistung als klassische Netzwerke. In der klassischen Variante der Lottery Ticket Hypothesis (LTH) wird behauptet, dass in dichten Modellen spärliche Unternetzwerke existieren, die mit gleicher oder sogar besserer Genauigkeit trainiert werden können. Solche sparsamen Strukturen könnten die Anforderungen an Rechenressourcen sowohl beim Training als auch bei der Inferenz erheblich reduzieren.

In der vorliegenden Arbeit wird die LTH in einen bayesschen Kontext übertragen. Dazu wurden gängige Computer‑Vision‑Modelle verwendet, um die Eigenschaften bayesscher Lotterie‑Tickets zu untersuchen und eine Methode zur Übertragung von deterministischen Tickets auf BNNs zu entwickeln. Die Experimente zeigen, dass die LTH auch in BNNs gültig ist: Es existieren sparsante Unternetzwerke, die die Genauigkeit des ursprünglichen dichten Modells erreichen oder sogar übertreffen, und das gilt unabhängig von der Modellgröße. Bei sehr hoher Sparsität kommt es jedoch zu einem Leistungsverlust.

Die Ergebnisse legen nahe, dass die Pruning‑Strategie bei BNNs zunächst auf der Gewichtsmagnitude basieren sollte, gefolgt von der Standardabweichung. Zudem hängt die Leistung der Modelle stark von der Maskenstruktur und der Gewichtseinitialisierung ab. Diese Erkenntnisse eröffnen neue Perspektiven für die Entwicklung sparsamer Trainingsalgorithmen und liefern wertvolle Einblicke in die Trainingsdynamik bayesscher Netzwerke.