FlowAWR：通过优势加权校正实现在线自适应流强化学习

arXiv:2606.30376v2 公告类型：替换 摘要：通过在线强化学习对齐连续空间中的生成式流模型，受到轨迹似然难以计算的限制。现有基于密度近似的策略梯度方法依赖随机 SDE 采样器来构建可计算的转移核，这会引入训练与推理之间的不一致，并且需要无分类器引导（CFG）。尽管 DiffusionNFT 等隐式框架直接优化前向过程的速度场，但其启发式固定幅度校正使优化强度无法随组内相对质量而调整。我们提出 \textit{Flow Advantage-Weighted Rectification}（\textbf{FlowAWR}），这一范式将连续生成策略优化重新表述为朝向理论最优速度场的监督回归。从 KL 约束下奖励最大化的最优策略出发，FlowAWR 推导出具有幅度感知、优势加权校正形式的最优速度场，实现了无需 SDE 的优化和无需 CFG 的生成。在 SD3.5-Medium 上的对比评估中，FlowAWR 在提升对齐性能的同时，相较于 DiffusionNFT 实现了 2$\times$ 至 5$\times$ 的收敛加速（例如，FlowAWR 在 1.2k 步时达到 24.12 的 PickScore，而 DiffusionNFT 在 2.0k 步时达到 23.82，FlowGRPO 在 $>$4k 步时达到 23.50）。在多奖励约束下，FlowAWR 能够维持生成质量，在满足结构规则的同时保持稳定的域外性能。代码见 \href{https://github.com/Fuzm7/FlowAWR}{FlowAWR}。