arXiv cs.LG精选80

ENCORE:用于扩散生成的基于副本交换的精确非平衡控制

ENCORE: Exact Non-equilibrium COntrol with Replica Exchange for Diffusion Generation

· 9天前

精选理由

提出首个精确并行扩散生成控制方法,无需近似时间反演,在分子采样与图像生成中兼顾准确性和多样性。

AI 摘要

arXiv:2610.02538v1 公告类型:交叉收录 摘要:推理时控制无需重新训练,即可引导预训练生成模型趋向目标分布。我们研究倾斜目标分布 $\pi_0\propto G_0\,p_0$,其中 $p_0$ 是采样器的输出分布,$G_0$ 是可求值的重加权函数。现有方法依赖于采用序贯蒙特卡洛(SMC)的序贯退火,或采用副本交换(RE)的并行退火。序贯控制是精确的,但需要大量粒子;而目前尚无精确的并行控制方法:现有 RE 校正对难以求解的时间反演进行近似,因此存在偏差。我们提出基于副本交换的精确非平衡控制(ENCORE),这是首个精确的并行控制方法。每个副本都存储其生成轨迹,因此向上移动只需截断轨迹,完全无需模拟难以求解的时间反演。我们证明了目标分布的不变性,并表明所得动力学等价于以精确时间反演作为前向提议的非平衡副本交换动力学。在正则性条件下,我们的扩散分析表明,若不加引导,序贯控制和并行控制都会随着时间离散化的细化而变得不稳定;而带引导的提议则保持稳定,并提供用于调整调度方案和计算预算的诊断指标。在合成目标分布、生物分子的 Boltzmann 采样和图像生成任务中,ENCORE 在准确性和多样性方面均具有竞争力,对采样器扰动保持稳健,并且适用于现有 RE 校正无法应用的蒸馏采样器。

查看原文(arXiv cs.LG)