谁来验证验证者？让可检查评分器与自我改进智能体共同进化

arXiv:2610.11464v1 公告类型：交叉 摘要：我们改变了智能体：它真的变得更好了吗？每个自我改进的智能体循环都会数百次回答这个问题，而每次答案都来自一个验证器。在开放式任务中不存在现成的验证器，因此循环只能依赖手写评分标准，或让一个与被评估模型类似的 LLM 充当简单评判者来给输出评分，这很容易引发奖励破解和共同盲点。我们让验证器成为进化对象：它是一个可检查的表达式，由少量、主要是确定性的问题检测器构成；这些检测器从聚类后的失败案例中合成，在诞生时接受门控，并依据其与包含十个项目的锚定参考集的一致性，以及对未标注输出的共识进行选择，而绝不依据智能体的得分进行选择。在 MBPP+ 上，相较于人工编写的初始组合，它在留出集上的一致性提升了 0.21，且这一结果对每个初始种子都成立；最终表现也超过了其中包含的简单 LLM 评判者。有一项发现应当改变我们验证共同进化验证器的方式：移除锚定约束后，验证器会坍缩成一个无意义的“永远通过”评分器，但这个坍缩后的验证器训练技能的效果却同样好。下游任务得分无法证明自我进化验证器是可靠的。得分确实可以回答“是否足够”的问题，而在此处，进化验证器可以作为替代方案：Double Ratchet 将验证器与一个由生命周期管理的技能循环配对，在代码生成、企业级 text-to-SQL 和无参考报告生成任务中，保留了同一循环在使用真实标签或评分标准时所获得提升的 88%–110%。当进化出的技能钻了报告评分标准的空子时，外部评判者发现了这一问题，并通过添加一个检测器修复了它；但在获得任务契约之前，该评判者本身也是错误的。