可恢复性存在一条规律:面向工具增强智能体的 ERR 度量
Recoverability Has a Law: The ERR Measure for Tool-Augmented Agents
精选理由
提出ERR度量与可检验定律,帮助评估并提升工具型智能体的故障恢复能力
AI 摘要
arXiv:2601.22352v2 公告类型:替换 摘要:语言模型智能体在工具调用执行失败后通常表现出自我恢复能力,但这一行为缺乏形式化解释。我们提出了一种预测理论,通过表明可恢复性遵循一条可测量的规律来弥合这一缺口。具体而言,我们通过预期恢复遗憾(Expected Recovery Regret,ERR)对可恢复性进行形式化,该指标量化了在随机执行噪声下恢复策略与最优策略之间的偏差,并推导出 ERR 与一个可通过经验观测的量——效率得分(Efficiency Score,ES)——之间的一阶关系。由此,我们得到了工具使用智能体恢复动态的一条可证伪的一阶定量规律。我们在五个工具使用基准上对该规律进行了实证验证,这些基准涵盖受控扰动、诊断推理和真实世界 API。在不同模型规模、扰动机制和恢复时域下,根据 ERR-ES 规律预测的遗憾与通过 Monte Carlo rollout 测得的失败后实际遗憾高度吻合,差值小于或等于 0.05。我们的结果表明,可恢复性并非模型规模或架构的产物,而是交互动态所支配的一种属性,为语言智能体在执行层面的鲁棒性提供了理论基础。