GMTS：基于梯度幅值的 Token 选择提升用于 LLM 推理的 RLVR 训练

强化学习（RL），尤其是具有可验证奖励的强化学习（RLVR），近年来已成为提升大型语言模型（LLMs）推理能力的核心范式，并在各类推理任务上展现出显著效果。近期研究表明，高熵 token 在模型训练中起着极其重要的作用，因为仅使用熵最高的 20% token 进行训练就能带来显著的性能提升。然而，这些高熵 token 为何有益，仍未被充分理解。在这项工作中，我们发现，尽管单个答案中的高熵 token 往往与较大的梯度幅值相关，但考虑到答案级奖励信号的差异，熵本身并不能跨不同答案稳定地反映 token 重要性。基于这一观察，我们提出 Gradient Magnitude-based Token Selection（GMTS）方法来量化 token 重要性，该方法利用熵与梯度之间的联系来近似 token 选择中的梯度幅值排序。我们发现，在三个推理领域和不同模型规模上，基于 GMTS 排名前 20% 的 token 进行训练，始终优于基于熵的 token 选择，这表明 GMTS 为 RLVR 训练中 token 贡献提供了更细粒度的估计。