dFlowGRPO：面向离散流模型的速率感知策略优化

离散流模型（DFMs）是一类用于生成离散数据的灵活生成模型，而扩散大语言模型（dLLMs）可被视为一种特殊情形，其采用特定的混合路径和掩码源分布。尽管近期已有多项研究探索了针对 dLLMs 的强化学习，但其在更一般的离散流模型中的应用仍未得到充分研究。在本文中，我们提出离散 Flow-GRPO（dFlowGRPO），这是一个面向离散流模型的统一强化学习框架，支持广泛的概率路径和非掩码源分布。我们推导了 DFMs 的完整轨迹概率，并将去噪过程表述为马尔可夫决策过程，使 dFlowGRPO 能够在强化学习过程中综合利用相关条件转移速率和后验模型的信息。我们将 dFlowGRPO 应用于近期提出的多模态离散流模型 FUDOKI，并在图像生成和多模态理解任务上对其进行评估。实验证明，在文生图任务上，dFlowGRPO 优于现有针对 dLLMs 的 GRPO 类方法，其性能可与使用 Flow-GRPO 训练的连续流模型相媲美，同时在理解任务上也展现出强大的能力。