当数据伪迹并非捷径：对合成 RLVR 语料库的因果审计

arXiv:2610.00202v1 公告类型：cross 摘要：近期有多种流程通过遮蔽真实语料文本中的一个片段，并要求语言模型围绕该片段编造看似合理的错误答案，来构建 RLVR 训练数据。因此，正确选项是真实的人类文本；每个干扰项都是合成的。正确性与来源由此纠缠在一起，策略理论上可能学到的是后者，而非前者。我们在 GooseReason-0.7M 中审计了这种可能性。首先，我们考察这种不对称性是否确实可见：一个只读取五项表层统计特征（完全不理解语义）的分类器，在 315,499 个选项上取得了 0.562 的 AUROC，仅略高于随机水平。然而，整体结果掩盖了一些情况。代码数据的 AUROC 为 0.416，低于随机水平；人工检查解释了原因：代码干扰项原来是对标准答案进行单个运算符变异后得到的结果，而不是自由撰写的替代答案，因此这两个类别在构造上几乎完全相同。检测到信号并不等于证明模型会利用它，因此我们随后进行了干预实验。我们构建了一个释义匹配的对照语料库，使两组的训练集规模完全相同，并在一个固定预算下训练两个策略。利用差距并未偏向未经修改数据组：其值为 0.021，而对照组为 0.027。换言之，在我们的预算条件下，一个可检测的数据伪迹并未被利用。我们认为，对于任何整理此类语料库的人来说，这种脱钩现象以及按领域划分的构造发现都值得了解；我们还将这项审计作为一套主要仅需 CPU 的协议发布。