VeriFine：扩展具身推理中的自我改进验证能力

自我改进策略会不断暴露新的失败模式，改变其评判器必须具备的验证能力。然而，当前固定不变的评判器限制了优化反馈和有价值训练样本的发现，从而制约了进一步的自我改进。这一挑战在具身推理中尤为突出，因为可靠的评估必须考虑空间定位、因果推理以及安全意识决策。我们提出 VeriFine，这是一种智能体工具框架，通过策略、训练课程和评判器的协同进化来扩展验证能力。策略改进循环利用量规评判器诊断反复出现的失败，构建自适应课程，并优化策略。当进展陷入停滞且验证成为瓶颈时，评判器改进循环会针对具有信息量的失败案例选择性地寻求人类指导，并通过协同校准改进评判器。在协同校准过程中，人类与智能体解决分歧，并逐步趋近于物理推理的客观量规。改进后的评判器随后指导下一阶段的数据选择和策略优化。在驾驶和机器人导航任务上的实验表明，在强化学习和监督微调过程中，策略能力和评判器能力都能持续自我改进。这些结果展示了，随着策略失败模式不断演变，扩展验证能力如何支持持续的自我改进。