MagicBeanStalk：通过递归数据合成摆脱 RLVR 零优势陷阱

arXiv:2610.12659v1 公告类型：交叉发布 摘要：以数据为中心的 RLVR 扩展一直侧重于收集或生成可验证的训练问题。然而，仅凭语料库规模并不能判断数据集是否能为目标策略提供有效的学习信号。为指导有效 RLVR 数据的合成，我们通过实验，将数据集的有效性刻画为其所含问题、目标策略和训练 rollout 预算的函数。基于这一刻画，我们发现，一个汇集了广泛使用的 RLVR 数据集的大型开源数学语料库几乎完全陷入了零优势陷阱：对于固定的目标策略和 rollout 预算，其中约 88% 的问题要么在每次 rollout 中都能解决，要么在每次 rollout 中都无法解决。筛选可以提高剩余有效问题的集中度，但它只能进行选择，同时丢弃难题。因此，有效的合成问题应当要求使用解决这些难题所需的推理操作及其组合。不过，这些问题的难度必须经过校准，使部分 rollout 成功、部分失败，并且至少有一个正确解答能够在训练预算内完成。直接提示教师模型对难题进行变式改写并不能达到这一目的。在这些实证原则的指导下，我们提出了 MagicBeanStalk，一种结合自顶向下分解与自底向上递归数据合成的算法。它在保留种子问题推理蓝图的同时，将种子问题扩展为一系列在实质上全新、且针对策略和预算进行了校准的训练问题。在 8 个数学基准测试中，在 16K token 预算下，使用 MagicBeanStalk 问题持续进行 RLVR 训练，使 gpt-oss-120b 的成绩从 61.2 提升至 69.8（+8.6），使 DeepSeek v4Flash 从 72.4 提升至 77.9（+5.4）。使用完整的 7.8 万道问题源语料库进行训练仅提升了 1.1 分，而使用其中经筛选得到的最佳真实数据子集则提升了 5.8 分。在金融领域，我们仅基于 340 个解答就合成了超过 1.4 万道可验证问题，并在 SecQue 和 FinanceBench 上分别比基础模型提升了 6.9 分和 2.4 分。