验证主张，而非评分：模块化智能体的循证验证

arXiv:2610.01348v1 公告类型：交叉收录 摘要：当开发者更改智能体的某个组件，例如控制器、学习得到的模型或验证器时，通常会通过综合任务评分来评判这一更改。该评分无法说明改进是否可实现、哪个组件造成了价值损失，也无法说明智能体自身的检查究竟能证明什么。我们提出了一种针对具体主张的验证审计方法，适用于执行规划、行动、检查和改进的模块化智能体。该审计不对智能体评分，而是对证据评分：每项结论都附有其背后的证据、四种判定之一（有支持、无支持、未解决或未评估），以及其成立的边界。三种工具提供这些证据。预言机策略在明确规定的行动集合下衡量可实现的改进，从而能够将较低的数值追溯至评估本身，而非环境。每次将一个组件替换为对应的完美组件，以定位价值损失；只要下游组件可能掩盖替换效果，就将未发现效果的结果判为未解决。另一项独立测试则检验：验证器的评分能否识别出人们将其解读为某个界限时所对应的量。我们将该审计应用于一个受约束的投资组合配置智能体，其运行环境为具有已知隐藏状态的合成市场。审计表明，完美状态信息的价值取决于用于衡量它的行动集合；情景生成器丢弃了大部分状态信号，而更高的局部保真度并未改善决策；运行时验证器可以被绕过，且结果没有可见变化。本文的贡献在于这套流程及其强制要求的证据区分；实证发现仅适用于所研究的智能体和环境。