arXiv cs.LG精选76

约束采样的惩罚非可逆 Langevin 方法

Penalized Nonreversible Langevin for Constrained Sampling

· 9天前

精选理由

为约束采样提供非可逆加速算法与误差理论,兼顾高效性和可靠性

AI 摘要

arXiv:2609.25381v2 公告类型:replace-cross 摘要:我们提出了用于从 $\pi(x)\propto e^{-f(x)}\mathbf 1_{\mathcal C}(x)$ 中采样的惩罚非可逆 Langevin 算法,其中 $\mathcal C\subset\mathbb R^d$ 是紧凸集。这些算法将平方距离惩罚与常数型或相容的状态依赖型斜对称扰动相结合,从而保持惩罚 Gibbs 分布不变。对于光滑且可能非凸的 $f$,我们在对数 Sobolev 不等式下,为全梯度算法推导了非渐近全变差界。当存在无偏随机梯度时,我们在适用于二次型度量的全漂移全局压缩性与 Lipschitz 条件下,建立了 $2$-Wasserstein 界。对于固定的惩罚参数,相对于惩罚 Gibbs 分布的误差以指数速度衰减至一个 $\mathcal{O}(\sqrt{\eta})$ 邻域,其中 $\eta$ 是步长。我们还对惩罚 Gibbs 分布与约束目标分布之间的偏差进行了界定。在一个二维二次模型中,我们通过将斜对称扰动调节至惩罚所诱导的曲率不平衡,建立了非可逆加速效果。在目标精度和较小曲率固定且初始 Wasserstein 距离一致有界的情况下,调节斜对称扰动可将充分的 Euler 迭代次数界关于曲率比的增长由线性改善为对数级。数值实验在约束贝叶斯回归、分类、神经网络和截断采样上评估了这些算法,并在随机二次模型中考察了加速机制。

查看原文(arXiv cs.LG)