Mehrstufiges SVGD: Effizientere Bayessche Stichproben mit Multirate-Ansatz

In der Bayesschen Statistik werden häufig partikelbasierte Verfahren eingesetzt, die einen einzigen globalen Schrittgrößenparameter für sämtliche Aktualisierungen nutzen. Beim Stein Variational Gradient Descent (SVGD) jedoch entstehen bei jeder Iteration zwei gegensätzliche Kräfte: eine Anziehung zu Regionen hoher Posteriordichte und eine Abstoßung, die die Vielfalt der Partikel bewahrt. Diese beiden Effekte können sich in hochdimensionalen, anisotropen oder hierarchischen Posteriorverteilungen mit unterschiedlichen Geschwindigkeiten entwickeln, sodass eine einzige Schrittgröße in manchen Bereichen instabil und in anderen ineffizient wird.

Die neue Studie präsentiert einen Multirate-Ansatz für SVGD, bei dem die beiden Komponenten auf unterschiedlichen Zeitskalen aktualisiert werden. Das Ergebnis sind drei praktikable Algorithmen: ein symmetrisches Split-Verfahren, ein fester Multirate-Algorithmus (MR‑SVGD) und ein adaptiver Multirate-Algorithmus (Adapt‑MR‑SVGD), der lokale Fehlerschätzungen zur Steuerung der Schrittgrößen nutzt. Durch diese Aufteilung können die jeweiligen Dynamiken optimal abgestimmt werden, ohne die Stabilität zu gefährden.

Die Autoren haben die neuen Methoden in einer umfangreichen Benchmark-Suite getestet, die sechs Problemfamilien umfasst: ein 50‑dimensionales Gaußsche Ziel, mehrere 2‑dimensionale synthetische Ziele, UCI‑Bayessche logistische Regression, multimodale Gaußsche Mischungen, Bayessche neuronale Netze und große hierarchische logistische Regressionsmodelle. Die Bewertung erfolgte anhand von Posterior‑Matching‑Maßen, Vorhersageleistung, Kalibrierungsqualität, Durchmischung und expliziter Kostenrechnung.

Die Ergebnisse zeigen, dass Multirate‑SVGD‑Varianten die Robustheit und das Kosten‑Qualitäts‑Verhältnis gegenüber dem klassischen SVGD deutlich verbessern. Besonders starke Vorteile sind bei starren hierarchischen, stark anisotropen und multimodalen Zielverteilungen zu beobachten, wo der adaptive Multirate‑Ansatz meist die beste Leistung liefert, während der feste Multirate‑Algorithmus bereits signifikante Verbesserungen erzielt.