FewStepRL：使用强化学习微调少步扩散模型

arXiv:2611.08240v1 公告类型：新提交 摘要：强化学习（RL）已成为扩散模型的一种标准后训练方法，但大多数 RL 目标在每次迭代中都会对当前策略进行轨迹采样，而使用多步采样器时，这些采样通常占据训练成本的大部分。少步模型降低了这一成本，但它们建模的是一个区间内的平均速度，而现有 RL 目标则针对采用多步采样器的瞬时速度构建。我们通过变换、分解和适配三个阶段，系统地将 RL 目标适配到少步模型。变换到 $x$ 空间后，我们考虑的各个目标均通过统一的策略预测来表达，默认在无噪声端进行预测，而对于转移目标或流映射目标，则在明确标注的层级进行预测，从而使基于密度、速度或奖励表述的目标具有可比性。分解阶段将各个目标的梯度写成朝向参考值的自回归项与奖励增强项之和，使一种方法在梯度层面归结为对锚点和权重的选择。适配阶段利用少步模型在其输运终点或沿其切线计算各个锚点，其中瞬时速度从网络本身或辅助网络中恢复。由此，我们在一个模块化代码库中实现了 FlowGRPO、AWM、DiffusionNFT、DiffusionOPSD 和 ReFL 的少步版本。在我们的实验中，当奖励可微且其梯度计算成本可承受时，基于奖励梯度的方法最为有效；否则，DiffusionNFT 风格的方法通常能在相对较少的迭代中获得高奖励，尽管其单次迭代成本有时更高。在我们的实验中，增加推理步数并未在总体上带来系统性收益，不过，当采样步数达到训练时的两到四倍时，部分输出的质量有明显改善。