Dynamische Temperaturkontrolle stabilisiert Gibbs‑Training von RBMs
Eine neue Studie auf arXiv (2603.02525v1) zeigt, dass das herkömmliche Gibbs‑Training von Restricted Boltzmann Machines (RBMs) – bei dem die Sampling‑Temperatur konstant gehalten wird – bei begrenzter Trainingszeit strukturell instabil werden kann. Durch die sich verändernde Energielandschaft entstehen effektive Feldverstärkungen und Leitfähigkeitskollaps, sodass der Gibbs‑Sampler asymptotisch einfriert, die negative Phase lokalisiert und die Parameter ohne starke Regularisierung deterministisch driftet.
Um diese Schwachstellen zu beheben, schlägt die Arbeit ein endogenes thermodynamisches Regulierungsframework vor. Dabei wird die Temperatur als dynamische Zustandsvariable behandelt, die sich an messbare Sampling‑Statistiken anpasst. Unter üblichen Lipschitz‑Bedingungen und einer Zwei‑Zeitschritt‑Skalentrennung wird gezeigt, dass die Parameter global beschränkt bleiben, wenn eine positive L2‑Regularisierung eingesetzt wird. Zusätzlich wird die lokale exponentielle Stabilität des thermodynamischen Subsystems bewiesen, wodurch Temperaturblow‑Ups und einfrierende Degenerationen innerhalb eines vorwärtsinvarianten Nachbarschaftsbereichs verhindert werden.
Experimentelle Ergebnisse auf dem MNIST‑Datensatz demonstrieren, dass das selbstregulierte RBM die Normalisierungs‑Stabilität und die effektive Stichprobengröße deutlich verbessert, während die Rekonstruktionsleistung unverändert bleibt. Diese Erkenntnisse legen nahe, dass dynamische Temperaturkontrolle ein vielversprechender Ansatz ist, um die Zuverlässigkeit von Gibbs‑Training in energie‑basierten Modellen nachhaltig zu erhöhen.