DOHF：采用 Doob $h$-变换引导的在线扩散微调

arXiv:2609.31882v2 公告类型：替换 摘要：当期望结果较为罕见或条件化修正的估计成本较高时，基于奖励的扩散微调面临实际挑战。在本研究中，我们提出了 Diffusion Online $h$-guidance Fine-tuning（DOHF），将 Doob $h$-变换转化为一种实用的在线训练算法。DOHF 为生成样本分配最优性权重，在当前轨迹采样策略下估计归一化的局部修正项 $\nabla\log h$，并将其直接蒸馏到生成模型中。在理论上，我们从统一的 $h$-变换视角刻画了总体最优的 DiffusionNFT 更新以及各种无分类器引导方法。在方法上，我们的框架无需额外的网络求值，即可兼容黑盒奖励和不可微奖励。我们还在三种实验场景下展示了对齐效果的提升。本研究表明，通过低成本估计和迭代蒸馏来调整概率条件化，能够改善统计采样和视觉生成中的生成式学习。