选择并非学习：选择模型的未来

arXiv:2610.22029v1 公告类型：新 摘要：自我进化语言模型在其生成的任务上进行训练，因此每一轮都必须决定下一轮继承哪个更新后的模型。当前的循环机制，如 R-Zero、Agent0 和 Skill Self-Play，都通过任务来作出这一决定：接受那些看起来可学习的任务，并继承由此产生的每一次更新。我们发现，这些循环中存在选择与更新之间的鸿沟：一个看起来可学习的任务未必能产生有用的更新。在经过验证的任务上，大多数更新都无法提高模型给出正确答案的可能性，但这些循环仍会全部继承它们。HeirCommit 会冻结更新后的模型，并使用新的评估问题来决定是继承该模型，还是保留当前模型。EvoHeir 将参数继承与经验继承分离，在最终确认之前利用当前经验和存档经验修复失败并保留成功。我们的分析刻画了选择诱导的乐观性，并将遗憾分解为选择误差、吸收误差和确认误差。与相同接受率下的随机继承相比，HeirCommit 将被接受更新中有害更新的占比降低了 68%–83%。在四个主干模型上，EvoHeir 在数学和通用推理平均表现方面均达到最佳，相较于最强基线 Agent0，将数学平均分提高了 5.3%。该框架使有用经验得以持续，即使产生这些经验的模型没有被继承。