用于带可验证奖励的离策略强化学习的 Gibbs-Gap Policy Optimization

arXiv:2610.20814v1 公告类型：新 摘要：带可验证奖励的强化学习通常会基于由另一种可能已经过时的行为策略生成的响应来训练语言模型。使用学习器到行为策略的重要性权重来纠正这种不匹配，可能会给长响应带来高方差。我们提出 Gibbs-Gap Policy Optimization（GGPO）：在同一提示词的多个响应之间，最小化经 KL 调整后的奖励的 log-mean-exp 对比，而不使用学习器到行为策略的重要性权重。我们从 KL 正则化策略优化中推导出 GGPO：在策略分布上的情况下，其总体损失恰好等于 KL 正则化最优性差距；在满足适当覆盖条件时，学习器单个响应的期望奖励至少达到行为策略的 best-of-$K$ 奖励，减去原始有限组损失、正则化项以及有限训练数据所对应的项。我们通过精确的 Gibbs 目标组合刻画参考策略刷新，并在局部参考策略控制和逐 token 行为策略不匹配的条件下，给出最终策略奖励的有限数据界限。这种刷新在经验上十分重要：在一项消融实验中，固定参考策略的 GGPO 在五个基准测试的按问题加权平均分上取得 $32.96$，而采用默认刷新计划时得分为 $46.58$。数学推理实验进一步表明，在训练与推理不匹配以及固定离线数据的情况下，GGPO 的表现优于 GRPO 和 AGRO；随着受控的策略陈旧程度增加，其性能仍能保持稳定。