用于测试时扩散对齐的 Best-of-$N$ Guidance

arXiv:2610.05108v2 公告类型：替换 摘要：扩散模型具有强大的生成性能，但往往难以使生成样本符合奖励模型所衡量的人类偏好。一种简单而有效的测试时对齐算法是 Best-of-$N$（BoN）采样，它从预训练的扩散模型中抽取 $N$ 个独立同分布的样本，并输出其中唯一一个奖励最高的样本。尽管 BoN 在实证中取得了成功，但它对奖励信息的利用有限，因为奖励信息仅在最终选择阶段被引入，并不影响采样过程中的反向扩散轨迹。因此，BoN 采样无法提高生成样本的平均对齐水平，主要适用于单输出场景。我们提出 Best-of-$N$ Guidance（BoNG），这是一种将 BoN 采样原理直接融入反向扩散过程的新方法。BoNG 对去噪粒子进行在线 BoN 选择，并调整反向扩散过程，在生成过程中引导粒子群向奖励更高的区域移动。具体而言，BoNG 通过在去噪粒子之间引入非对称引导交互，将当前的 BoN 粒子用作其余粒子的引导信号。这种粒子级交互重塑了采样过程，使其朝向奖励更高的区域，从而使 BoNG 不仅能获得优于 Vanilla BoN 采样的最终最佳样本，还能提高生成样本的平均质量。在 36 项实证比较中，BoNG 在 29 项中取得最佳性能，在与 SMC 和 Vanilla BoN 采样的比较中，以 80.56% 的比例位居第一。BoNG 还支持多输出，其 ImageReward 得分达到最新的基于样本的引导方法的 1.3$\times$，同时实现了 1.6$\times$ 的加速。我们在 https://github.com/aailab-kaist/BoNG 发布代码。