质疑问题：维持推理模型的自我进化

arXiv:2610.04299v2 公告类型：替换 摘要：自我进化的推理模型从自身生成的问题中学习，但反复进行自我训练可能导致性能崩溃。本文探究了性能为何会在连续多轮训练中恶化，以及如何维持自我进化。我们的分析发现，自生成问题中反复出现两类质量问题：无效问题，以及同一数学问题的重复变体。首先，无效问题在各轮训练中的比例不断增加，而答案一致性筛选会进一步提高其在训练数据中的占比。其次，现有基于词法相似度的问题多样性控制方法，可能无法识别以不同方式表达但在数学上等价的问题，从而导致后续训练轮次中的问题多样性崩溃。基于这些发现，我们提出 R-Quest，利用问题有效性和新颖性反馈来引导自我进化。我们首先训练求解器识别并拒绝无效问题，然后利用其判断来指导提问器的奖励，并筛选求解器训练数据。为避免问题重复，我们使用冻结的基础模型比较采样的问题对，并提供新颖性反馈。在实证评估中，我们的方法在两个模型系列的数学推理、通用领域推理和代码生成任务的 12 个基准测试上，始终取得最高的平均性能。此外，R-Quest 在十轮自我进化过程中持续保持稳定的性能增益，在最后一轮达到峰值，并以 17.32 分的优势超过 R-Zero。