外部引导何时有助于 LLM 推理？引导增强型 GRPO 的偏差-方差理论

arXiv:2610.06861v1 公告类型：新 摘要：具有可验证奖励的强化学习（RLVR）已成为激发大型语言模型进行多步推理的主流范式。近期一系列方法（LUFFY、ExPO、PAPO、TAPO）进一步将强化学习与外部引导相结合——包括专家轨迹、自我解释或检索到的思维模式。尽管每种方法都报告了经验性收益，但尚无方法给出收敛速率、偏差界或引导信号的最优加权规则。我们通过引导增强型 GRPO（GA-GRPO）弥补了这一空白：这是一个统一的理论框架，将外部引导建模为随机引导算子 G，用于重写问题分布；并将由此产生的策略梯度估计器分析为一种有偏的在策略估计器，其偏差由引导增强采样分布与策略自身分布之间的总变差引导散度 \delta_G 所界定。该框架将 vanilla GRPO、LUFFY、ExPO、PAPO 和 TAPO 统一为 G 的特定选择下得到的特例。在光滑性和有界散度假设下，我们证明 GA-GRPO 以 O(1/\sqrt{T}) 的速率收敛到 GRPO 稳态点的一个 O(\delta\sqrt{T}) 邻域；推导出均方误差（MSE）最优的引导权重 \lambda^\star(T,\delta,\sigma_0^2) = \sigma_0^2 / (\sigma_0^2 + R_{\max}^2\delta^2T)；并证明了相匹配的极小极大下界，表明 \Omega(\delta^2T) 的偏差项是不可避免的。在 Qwen2.5-Math-7B-Base 上开展的九个数学和 OOD 基准实验表明，最优权重的 GA-GRPO 达到或超过了 TAPO、LUFFY、ExPO 和 vanilla GRPO 的表现，同时所需 GPU 时长减少了 31%；另外八组分析实验验证了每一项理论预测。