面向高效生成模型对齐的流形约束初始噪声优化
Manifold-Constrained Initial Noise Optimization for Efficient Generative Model Alignment
精选理由
提出无梯度初始噪声优化，提升生成模型黑盒奖励对齐的稳定性与效率。
AI 摘要
arXiv:2610.00365v1 公告类型：新 摘要：近期，蒸馏和流映射模型的发展实现了高质量数据的确定性单步或少步生成，推动了奖励对齐方法的新分支：直接优化来自高斯分布的初始噪声。然而，现有的大多数初始噪声优化方法依赖一阶梯度信息，而在黑盒奖励场景中，这类信息要么无法获取，要么存在不稳定和低效的问题。为此，我们提出了 ZeNOVA，一种以无梯度方式实现的稳定且高效的初始噪声对齐方法。具体而言，我们通过退火软值引导、流形约束的超球面 Langevin 动力学以及 Metropolis-Hastings 跳跃，解决现有算法在黑盒场景中的主要挑战。在图像和视频生成模型上的大量实验表明，ZeNOVA 能够利用高斯先验的几何结构，将初始噪声优化至获得更高奖励的方向，并以显著更高的稳定性超越所有参与评估的零阶基线方法，展示了其在各种黑盒奖励对齐任务中的实际适用性。