Bayessche Netzwerke in 4‑Bit: Quantisierung spart Speicher, behält Unsicherheit

Bayessche neuronale Netzwerke (BNNs) ermöglichen eine fundierte Unsicherheitsabschätzung, sind jedoch im Vergleich zu deterministischen Modellen deutlich rechen- und speicherintensiver. Quantisierung hat bei klassischen Deep‑Learning‑Modellen bereits enorme Einsparungen gebracht, doch ihre Anwendung auf probabilistische Modelle blieb bislang weitgehend unerforscht.

In der neuen Studie wird ein systematischer, mehrstufiger Quantisierungsrahmen für Stochastic‑Variational‑Inference‑basierte BNNs vorgestellt. Der Ansatz unterscheidet drei Strategien: Variational Parameter Quantization (VPQ), Sampled Parameter Quantization (SPQ) und Joint Quantization (JQ). Durch logarithmische Quantisierung der Varianzparameter und speziell angepasste Aktivierungsfunktionen bleibt die Verteilungskonfiguration erhalten, was für eine kalibrierte Unsicherheitsabschätzung entscheidend ist.

Umfangreiche Experimente am Dirty‑MNIST‑Datensatz zeigen, dass BNNs bereits bei 4‑Bit‑Präzision sowohl die Klassifikationsgenauigkeit als auch die Trennung von epistemischer und aleatorischer Unsicherheit beibehalten können. Besonders die Joint‑Quantization‑Methode reduziert die Speicheranforderungen um bis zu achtmal im Vergleich zu Fließkomma‑Implementierungen, während die Unsicherheitsabschätzung nur minimal leidet.

Diese Ergebnisse eröffnen die Möglichkeit, bayessche Netzwerke auf ressourcenbeschränkten Edge‑Geräten einzusetzen und liefern zugleich Designrichtlinien für zukünftige analoge „Bayesian Machines“, die von Natur aus bei sehr niedriger Präzision arbeiten.