学习噪声优化以实现少步生成模型的奖励对齐
Learning Noise Optimization for Reward Alignment in Few-Step Generative Models
精选理由
LeNO将奖励引导的噪声优化迁移到训练阶段，实现单次推理校正，提升少步图像与蛋白生成的目标表现。
AI 摘要
arXiv:2611.06255v1 公告类型：新论文 摘要：基于扩散和流的生成模型的奖励对齐通常围绕随机轨迹进行建模，因此不太适用于少步确定性生成器。初始噪声优化提供了一种无需轨迹的替代方案，但现有无梯度方法在推理时需要对每个样本进行代价高昂的搜索。我们提出 LeNO（Learning Noise Optimization），将奖励引导的初始噪声优化摊销为学习得到的残差传输，同时保持预训练生成器冻结。LeNO 利用 Local GRPO 和标量奖励，学习以锚点为条件的噪声修正分布，从而消除测试时的迭代优化。对于采用范数保持投影的高斯初始噪声，我们推导了修正后噪声分布与原始先验之间 KL 散度的可计算上界，为正则化目标提供了理论依据。我们在少步文本到图像生成和蛋白质结构生成任务上评估 LeNO，其中包括计算代价高昂的黑盒可设计性奖励。在这两个领域中，LeNO 仅需在推理时进行一次噪声修正，即可提升目标奖励，同时在很大程度上保持生成质量和多样性。