arXiv cs.LG精选80

不完美扩散模型的误差校正推理时缩放

Error-Corrected Inference-Time Scaling for Imperfect Diffusion Models

· 11天前

精选理由

无需再训练即可动态纠正扩散模型误差,提升目标分布与分子自由能采样准确性。

AI 摘要

arXiv:2610.01933v1 发布类型:cross 摘要:推理时缩放无需额外训练,即可使预训练扩散模型适应新的采样任务。现有方法主要依赖增加粒子数量的蒙特卡洛采样,但其前提是预训练模型是精确的。在实际应用中,数据和训练方面的限制会使模型并不完美,而这些方法也会继承模型的误差。增加粒子数量可以降低蒙特卡洛误差,却无法消除终点与期望目标之间的不匹配,也无法消除跟踪指定概率路径时产生的误差。我们提出能量型 Feynman-Kac 校正器(EBFKC),这是一种适用于能量型扩散模型的框架,在给定参考能量的情况下动态校正这些误差。首先,我们推导出 Feynman-Kac 动力学:即使模型并不完美,在连续时间的总体极限下,该动力学仍能精确跟踪指定路径;随后,我们利用带方差控制引导的序贯蒙特卡洛来近似这些动力学。为消除终点不匹配,我们将预训练能量用作扩散路径上的替代量,并逐步纳入所学习终端能量与目标终端能量之间的差异。在高斯混合模型、粒子系统、alanine dipeptide 和 alanine tetrapeptide 上的实验表明,在退火和奖励倾斜条件下,我们的方法能够紧密匹配目标分布和分子自由能剖面,而标准的推理时缩放基线仍保留了显著的采样误差。

查看原文(arXiv cs.LG)