强化学习驱动的扩散模型：语言、视觉及更广泛领域

扩散模型（DMs）遵循大语言模型（LLMs）所确立的“预训练—微调”范式，在多种场景下的高保真、可控生成任务中持续展现出卓越性能。尽管取得了这些进展，传统扩散模型在复杂推理、自主探索生成路径，以及适应复杂且与人类偏好对齐的目标方面，仍面临关键局限。受基于人类反馈的强化学习（RLHF）在大语言模型中取得成功的启发，强化学习（RL）近年来已成为一种关键的后训练机制，通过奖励驱动的轨迹优化对扩散模型进行迭代改进。本文首次对强化学习驱动的扩散模型进行全面综述，并通过实证分析探讨强化学习如何重塑扩散过程，使其转向以经验为中心、以目标为导向的生成。我们提出了一幅全新的技术全景图，阐明强化学习在基于扩散的语言、多模态、机器人及科学模型中的多重作用，并着重细致分析扩散轨迹优化与奖励工程。通过在多个面向特定任务的基准上开展广泛实验，我们系统评估了代表性方法，以直观呈现不同强化学习后训练策略的优势。此外，我们揭示并剖析了当前阻碍强化学习驱动的扩散模型在现实世界中部署的三大关键瓶颈：奖励设计的脆弱性、高维生成空间中的探索与利用权衡，以及稀疏奖励下的训练不稳定性。基于这些视角，我们为将强化学习融入扩散模型提供了系统性路线图，并勾勒出构建稳健、可解释的强化学习—扩散系统的未来研究方向。我们还建立了一个公开代码仓库，以持续追踪这一快速发展领域的最新进展：https://github.com/MAIR-Lab-HUST/Awesome-RL-for-Diffusion-Models。