借助参考实现自我进化：工具集成智能体的锚定训练

自我进化的工具集成智能体从其自身训练循环中生成的任务和反馈中学习。课程智能体生成任务，而执行智能体则通过强化学习从自一致性信号中学习。然而，仅依赖当前执行智能体提供反馈存在两个局限：在完全达成共识时，组相对优势会消失；而基于不确定性的课程奖励偏好分歧，却无法表明生成的任务是否支持进一步学习。这些局限促使我们在当前执行智能体之外引入额外参考。我们提出了 \textit{AnchorLoop}，将上一轮迭代执行智能体的冻结副本作为历史参考，并在训练循环的两端复用。对于执行智能体，该锚点提供了一种交叉参考优势，依据当前和历史多数答案共同评估当前输出。对于课程智能体，该锚点根据采样所得多数答案一致程度的差异，提供基于一致性的参考。由于执行智能体与锚点在课程训练期间具有相同的参数，这种比较仅作为任务选择的代理指标，而非跨版本改进或正确性的证据。在 13 个推理基准测试中，AnchorLoop 相较于 Agent0，在数学推理和通用推理任务上分别提升了 2.5\% 和 2.8\%。它还保持了更高的有效优势方差，并在后期迭代中持续改进，而未采用锚点的基线则表现出收益递减。这些结果表明，在没有外部任务或答案监督的情况下，为自我进化的工具集成智能体引入轻量级历史参考具有益处。