通过激活空间引导探索实现带可验证奖励的强化学习

arXiv:2610.27012v1 公告类型：新 摘要：带可验证奖励的强化学习（RLVR）通过采样响应、使用自动验证器对其进行评分，并根据所得奖励更新策略来训练语言模型。因此，策略只能从出现在其采样轨迹中的轨迹获得直接的学习信号。然而，在相同策略下反复采样可能会集中于相似的推理路径，使有用的替代方案在固定采样预算下无法得到探索。我们提出激活空间探索（Activation-Space Exploration，ASE），一种用于使训练采样轨迹多样化的在线方法。通过聚类同一问题的正确响应与错误响应之间的激活差异，ASE 构建了一个结构化的潜在探索向量库。随后将不同向量应用于后续采样，以探索替代的推理路径。在 DAPO-Math-17k 上训练的 Qwen3-1.7B-Base 和 Qwen3-8B-Base 上，在相同采样预算下，ASE 相比 GRPO 在六个数学推理基准测试中的平均 Mean@8 分别提升了 4.87 和 1.87 个百分点。