Adaptive Stepsize für Langevin Dynamics in Bayesschen neuronalen Netzen
Bayessche neuronale Netze (BNNs) benötigen skalierbare Sampling‑Algorithmen, um die Posterior‑Verteilungen der Parameter zu approximieren. Traditionelle stochastische Gradient‑Markov‑Chain‑Monte‑Carlo‑Methoden (SGMCMC) sind jedoch stark von der Wahl des Stepsizes abhängig, und adaptive Varianten wie pSGLD liefern ohne einen aufwändigen Divergenz‑Korrekturterm oft keine korrekte invariant Measure.
In der neuen Studie wird das kürzlich vorgestellte SamAdams‑Framework für die Zeitschritt‑Anpassung erweitert. Der daraus resultierende Algorithmus, SA‑SGLD, nutzt eine Zeitskalierung, um den Stepsize dynamisch an die lokale Gradientennorm anzupassen. Dadurch verkleinert sich der Schritt in Bereichen hoher Krümmung und vergrößert sich in flachen Regionen, was die Stabilität erhöht und die Durchmischung verbessert – ohne Bias einzuführen.
Experimentelle Ergebnisse zeigen, dass SA‑SGLD bei hochkrümmenden 2‑D‑Toy‑Beispielen und bei der Bildklassifikation mit BNNs, die scharfe Priors verwenden, eine genauere Posterior‑Sampling‑Qualität erzielt als herkömmliches SGLD. Diese Fortschritte könnten die praktische Anwendung bayesscher neuronaler Netze in komplexen Aufgaben erheblich erleichtern.