少步生成模型的噪声空间奖励对齐

arXiv:2610.21125v1 公告类型：新 摘要：少步生成模型只需进行一次或几次评估即可生成高质量样本。然而，引导这些模型生成具有期望属性的样本仍然十分困难，尤其是在只能获得黑盒奖励评估的情况下。虽然可以采用针对迭代式扩散模型和基于流的模型所开发的方法，例如直接强化学习微调或测试时扩展，但我们发现，这些方法都无法很好地迁移到少步生成场景：直接微调会遭受严重的奖励过度优化，而测试时扩展则会牺牲少步生成的效率优势。我们提出 Noise Policy Optimization（NPO），专门针对少步生成模型的对齐问题。其核心思想是在生成器的初始噪声空间上学习一个摊销流策略。训练得到的策略将高斯噪声传输为经奖励倾斜的噪声分布，而该分布通过冻结生成器映射得到的推前分布，恰好就是经奖励倾斜的输出分布。通过保持生成器冻结，我们能够有效利用预训练模型中编码的知识，从而相比直接微调实现更优的奖励—质量权衡。摊销策略将搜索成本转移到训练阶段，因此推理时只需在预训练模型之上增加一个轻量级的噪声采样步骤。为提高训练期间的样本效率，我们采用基于 ELBO 的似然估计，该方法只需要采样得到的端点，而不需要模拟轨迹。在图像、语言和蛋白质结构生成任务中，NPO 始终比直接微调实现更优的奖励—质量权衡，并且以低 16 至 549 倍的推理成本达到与测试时搜索方法相当的效果。