Goldilocks RL：调节任务难度以摆脱推理中的稀疏奖励

arXiv:2602.14868v3 公告类型：替换 摘要：强化学习已成为释放语言模型推理能力的强大范式。然而，依赖稀疏奖励使这一过程的样本效率极低，因为模型必须在仅获得极少反馈的情况下探索巨大的搜索空间。经典课程学习旨在通过依据复杂度对数据进行排序来缓解这一问题，但以往工作主要针对小型数据集，无法直接迁移到现代语言模型训练通常采用的大规模场景中。此外，针对特定模型的正确排序方式往往并不明确。为此，我们提出 Goldilocks，这是一种自适应数据选择策略，利用 Selector 网络预测模型针对每个候选问题进行多次 rollout 时所得奖励的标准差。Selector 优先选择预测奖励变异性较高的问题，这些问题对于模型当前的能力而言既不过于简单，也不过于困难，符合 Goldilocks 原则；与此同时，使用 GRPO 训练模型。通过利用模型在已见样本上的表现，Selector 能够持续适应模型不断发展的能力。在 OpenMathReasoning 和 Polaris 数据集上，Goldilocks 始终优于标准 GRPO，仅需最多减少 78% 的优化步数即可达到相应 GRPO 的性能。