并非自可判定:LLM 无法划定智能体验证器能够检查的边界
Not Self-Decidable: LLMs Cannot Draw the Boundary of What an Agent Verifier Can Check
精选理由
揭示大模型难以自行判断可验证边界,并提出更可靠的协同验证方法。
AI 摘要
智能体的验证器面临两类规则:一类可以由固定检查确定,另一类则需要裁判来判定。自行推导检查项的团队会预先确定这一区分。若要求来自外部,例如金融、医疗和法律领域,智能体执行的是它并未制定的规则,因此这一区分只能在运行时完成,并且对每条规则的每个谓词、每个动作都要重复进行,其频率高到任何审查员都无法审计。所有升级处理方案都假定模型能够自行作出这一决策,即该问题是自可判定的。我们在包括 EU AI Act、FINRA 指南和一个已部署的信贷智能体在内的六个语料库上开展研究,从三家实验室开发的四个模型中收集了约 22,000 个标注。对于显而易见的问题,它们几乎完全一致;但在监管文本上表现崩溃;它们的错误方向相反,因此无法信任任何一个模型作为保守选择;而在已部署智能体自身的规则集上,它们又共同犯错,过度声称固定检查足以完成判定,而这恰恰是不会被升级处理的方向。我们提出 CoVer(先互证、后验证),将一致意见视为提名:只有当为某个谓词合成的检查经受住干预、能够读取智能体无法写入的字段,并且在确定性改写下仍然成立时,才接纳该谓词。该门槛会拒绝大多数由互证错误接纳的内容,其覆盖率代价则如实报告,而不是通过调参消除。显而易见的替代方案是与参考裁判达成一致,但这并不能证明任何事情:在不同校准区间中,一致率从 30% 上升到 77%,而真正可判定的比例并未变化,因为从被审查群体中抽取的裁判会认可它与该群体共同拥有的盲点。自可判定性并不是一种可以从模型中诱导出的能力,而是验证器必须构建的一条边界。