iADD：改进 Diffusion Policy Optimization 中的对齐性与多样性

arXiv:2610.01789v1 公告类型：新 摘要：基于强化学习的扩散模型后训练方法（例如 Denoising Diffusion Policy Optimization（DDPO））在奖励函数下优化反向扩散过程。然而，当前的奖励优化方法往往以牺牲多样性和质量为代价。本文通过严谨的理论分析与方法设计，实现了更优的权衡。我们分析了相关理论框架，并从数学上证明，与先前工作中的结论相反，扩散模型的“仅更新后续时间步”可能会损害多样性。此外，我们基于坚实的理论基础提出了一种增量式 Feynman-Kac 训练方法，以实现目前为止最佳的对齐性与多样性权衡。我们开展了广泛的实验，在三个不同任务中将该方法与相关的扩散策略优化方法进行了比较，并针对每个组件进行了充分的消融实验，从而验证了该方法在对齐性和多样性方面均具有显著的性能提升。