面向智能体基础设施验证套件的判别性夹具覆盖
Discriminating Fixture Coverage in Agent-Infrastructure Verification Suites
精选理由
帮助读者识别验证套件盲区,并用可审计的判别维度系统修复测试覆盖。
AI 摘要
arXiv:2610.02928v1 公告类型:cross 摘要:不变量套件和运行时监控器日益成为智能体部署决策的门槛,而针对任何特定套件所提供的证据几乎总是单一观察结果:它能通过被认为正确的实现,并使被认为有问题的实现失败。我们衡量这一观察结果究竟有多大价值。我们对一个多会话智能体状态投影层的不变量套件应用变异分析,首先发现,这种标准验证竟能认证一个套件,而其中一个移除事件标识去重功能的一阶变异体通过了所有检查。随后,我们固定修复后的十二项检查套件,记录其哈希值,并针对由一名未设计其中任何夹具的对抗性读者指定的十个变异体运行一次:其中五个被杀死。对照参考实现对这五个存活变异体进行插桩后发现,它们以两种截然不同的方式失败,而不是一种。三个变异体从未被激活,因为没有任何夹具提供能使变异代码产生差异的输入。另外两个变异体破坏了套件中任何判定器都无法观测的内部状态。这两种模式需要不同的修复方式,而仅凭通过/失败报告无法看出其中差异。将缺失输入视为覆盖率问题后,我们枚举出输入空间的七个判别维度,预先登记哪些维度尚未覆盖,以及它们应当解释哪些存活变异体,并针对每个未覆盖维度新增一个夹具,同时原样复用现有判定器。随后,五个存活变异体全部被杀死,且每一个都被针对其预期维度编写的检查所检出。我们将此作为同一挑战集上的修复结果报告,而不是第二次留出集估计,并提供完整构件,包括固定的哈希值、预先登记的预测、所有变异体及运行日志,以便核验这一差异。