IDRF：基于逆蒸馏的掩码离散扩散模型奖励微调
IDRF: Inverse-Distilled Reward Fine-tuning of Masked Discrete Diffusion Models
精选理由
提出无需参考模型采样的奖励微调方法，让掩码扩散模型以更少步数生成高质量样本。
AI 摘要
arXiv:2610.03641v1 公告类型：新 摘要：掩码离散扩散模型为自回归生成提供了一种颇具潜力的替代方案，但迭代采样的成本较高，且难以处理的序列似然使奖励微调变得复杂。我们提出 IDRF，一种用于少步掩码离散扩散生成器奖励微调的框架。IDRF 从标准的反向 KL 正则化目标出发，以逆蒸馏正则化替代难以处理的序列级 KL 惩罚。我们证明，在最优辅助去噪器下，总体逆蒸馏损失是相对于参考分布的序列级 KL 散度的上界。IDRF 在无需参考模型轨迹采样的情况下，优化该损失的基于轨迹的替代目标，因此学生模型能够保留自身的少步采样器。我们将少步生成视为有限时域马尔可夫决策过程，并基于学生模型的轨迹，通过裁剪策略梯度目标优化奖励。在 DNA、图像和文本生成任务中，与参考模型相比，IDRF 以最多减少至其 1/32 的去噪步数获得了较高奖励，同时缓解了奖励投机问题并保持了样本质量。