面向长轨迹推理的相关性感知探索

使用 Group Relative Policy Optimization（GRPO）训练的推理模型如今能够生成数千个 token 长的思维链，而近期研究表明，这类训练容易导致策略坍塌。熵正则化是标准的解决方法，但它通过将概率质量从少数承载概率质量的 token 推向词表中庞大的低概率尾部来发挥作用，并且会对推理轨迹中的每个 token 施加一次这种作用。这使得该奖励与收敛所需的熵衰减直接冲突，也使其系数在长轨迹场景下难以设定。为解决这一矛盾，我们提出 Info-GRPO，这是一种促进策略与潜在先验之间相关性的信息论框架。Info-GRPO 不会在所有位置提升熵，而是基于潜变量与其诱导的轨迹之间的互信息：在训练期间用潜在种子增强提示词，使模型探索与先验相关的多样化策略，同时引导种子条件熵趋于收敛。因此，多样性是通过完整的推理轨迹而非逐 token 的随机性来传递的，探索也不再与熵的降低相冲突。实验表明，在多种推理基准上，Info-GRPO 的表现优于原始 GRPO 和熵正则化 GRPO。在 AIME24 上，相比 GRPO，Info-GRPO 在四个骨干模型上的 $Avg@8$ 分别提升了 3.75%、1.66%、4.16% 和 4.17%，并且仅需少 8 倍的样本即可达到相同的多数投票准确率。代码和模型将公开发布。