ULD‑Monte‑Carlo erreicht dimensionsunabhängige Konvergenz in KL‑Divergenz

arXiv – cs.LG Original ≈1 Min. Lesezeit
Anzeige

Die unterdampfte Langevin‑Dynamik (ULD) ist ein beliebter Sampler für Gibbs‑Verteilungen und funktioniert in der Praxis oft auch bei sehr hohen Dimensionen. Theoretische Konvergenz‑Grenzen für diskrete ULD‑Methoden sind jedoch meist polynomiell in der Umgebung­dimension d, was bei großen d zu völlig unbrauchbaren Abschätzungen führt.

Einzige bisherige dimensionsunabhängige Resultate befanden sich im Wasserstein‑2‑Raum für die randomisierte Midpoint‑Diskretisierung. Für die KL‑Divergenz blieb ein dimensionsfreier Beweis bislang aus.

Die neue Arbeit schließt diese Lücke: Sie liefert die ersten dimension‑freien KL‑Divergenz‑Grenzen für diskrete ULD. Durch eine Verfeinerung des KL‑lokalen‑Fehler‑Rahmens wird die Abhängigkeit von d durch die Spur der Hessian‑Obergrenze H ersetzt, sodass die Konvergenz nur noch von tr(H) abhängt.

Das Ergebnis bedeutet, dass unterdampfte Langevin‑Monte‑Carlo in Situationen, in denen tr(H) viel kleiner als d ist, eine deutlich bessere Iterationskomplexität als overdampte Varianten aufweist.