DiffusionART：高效、稳定且可扩展的扩散模型强化学习

arXiv:2610.12572v1 公告类型：新论文 摘要：在线强化学习（RL）通过黑盒奖励对扩散模型进行微调，但 Flow-GRPO 等逆向过程方法因信用分配不佳而效率受限，DiffusionNFT 等前向过程方法虽然高效，却需要精心调优的指数移动平均（EMA）离策略训练才能保持稳定。我们发现，NFT 风格的目标函数中隐含着一种前向—逆向一致性作用力，正负联合训练只能部分抵消这种作用力，而 EMA 是通过恢复机制而非离策略轨迹采样来稳定训练的。我们提出 DiffusionART（采用聚合优先奖励倾斜的扩散强化学习），将每个提示词对应的奖励聚合为逆向过程状态共享的奖励提升方向，从构造上消除一致性作用力，并增加一次采用信赖域掩码的二次更新，以实现自适应于漂移的恢复，无需调优 EMA。该方法不需要可微奖励模型，在每个提示词的采样数量更少时仍然有效，并支持成对奖励模型（DiffusionART-Pairwise）。在图像和视频生成任务中，DiffusionART 无需针对各任务单独调优，即可实现高效、稳定的训练。具体而言，在 HunyuanVideo-13B 上，当视觉质量与运动质量奖励权重相同时，DiffusionART 达到 DiffusionNFT 和 Flow-GRPO-Fast 训练后期平均奖励水平所需的 GPU 小时数分别仅为二者的 1/12.02 和 1/11.72，同时平均训练奖励分别高出 28.8% 和 53.0%。