不可学习，还是未测量？论 RLVR 中难度标签的可靠性

具有可验证奖励的强化学习（RLVR）已成为后训练阶段提升推理能力的重要方法。近期研究表明，即使某些困难提示偶尔能够生成正确解答，它们仍然难以被学习。我们重新审视了这一不可学习现象，发现受影响的提示确实会得到改进，但其学习速度约为可学习提示的三分之一；与此同时，用于研究这些提示的按难度划分的数据集，其可复现性远低于预期。这些难度标签是根据数量有限的采样响应估计得到的。在不同随机种子之间进行合并，可能会进一步改变被选中的提示，而不只是降低测量噪声。我们提出了一个基于采样的框架，用于量化这种不稳定性，并确定需要多少评估才能使难度划分可靠地复现。我们还重新审视了用于解释不可学习现象的梯度相似性证据，并表明，所观察到的部分差异源于困难提示能够提供的正确 rollout 更少，因而用于估计其梯度的样本也更少。在匹配样本数量后，梯度差异有所减弱，但并未消失。总体而言，慢学习现象经我们的重新分析后依然存在，但用于定义该现象的提示以及用于解释它的证据，都需要更加谨慎的测量。