验证主张,而非分数:模块化智能体的基于证据的验证
Verify Claims, Not Scores: Evidence-Based Verification of Modular Agents
精选理由
提供面向证据的模块化智能体验证框架,帮助定位性能瓶颈并识别验证器失效。
AI 摘要
当开发者更改智能体的一个组件(例如其控制器、学习模型或验证器)时,通常会通过总体任务得分来评判这一更改。该得分无法说明改进是否本来可以实现、哪个组件损失了价值,或智能体自身的检查能够证明什么。我们为能够进行规划、行动、检查和改进的模块化智能体提出了一种针对具体主张的验证审计。该审计不对智能体进行评分,而是对证据进行评分:每个结论都记录其背后的证据、四种判定之一(有支持、无支持、未解决或未评估),以及该结论成立的边界。三种工具为此提供证据。Oracle 策略在明确声明的行动集合下衡量可实现的改进,从而可以将较低的数值归因于评估方式,而非环境。每次用完美对应组件替换一个组件,可以定位价值损失;如果下游组件可能掩盖该损失,则空结果会被视为未解决。另一项独立测试考察验证器的得分是否识别出了它被解读为界定的那个量。将该审计应用于一个受约束的投资组合分配智能体,并置于一个已知隐藏状态的合成市场中,结果表明:完美状态信息的价值取决于用于衡量它的行动集合;场景生成器丢弃了大部分状态信号,而更高的局部保真度并不会改善决策;运行时验证器可以在结果没有明显变化的情况下被绕过。本文的贡献在于所提出的协议及其强制执行的证据层面区分;经验性发现仅适用于所研究的智能体和环境。