保真度还不够：用于代理式数据表提取的调度级埋点

有一个模型在从未打开数据表的情况下就通过了我们的保真度检查。我们是在为一个内部提取服务筛选模型时发现这一问题的：一个结构化输出约束悄然禁用了工具使用，而模型却仍然作答，且编造了源文本。只有逐工具轨迹暴露了这一点。保真度——即提取值是否与来源一致——是代理式文档提取的标准指标，而那次运行在这一指标上被判定为成功。因此，我们在一个代理式基准中记录每一次工具调用，该基准包含三个组件上人工筛选的 25 条断言，第四个组件上另有 12 条，共 37 条。基于这份调度记录，我们构建了两种工具：一个基于规则的失败归因分类器，以及一个静默失败检测器；后者的两条规则只检查调用了哪些工具，从不检查提取值本身。该检测器在跨三个模型家族的 207 次干净且保真度通过的提取上从未报警，并且检出了全部 50 个人为植入的故障——这些故障恰好隐藏了其规则所检查的工具。这两个结果并不对称：前者界定了误报率上界，后者则按构造保证召回；而对于那些确实调用了工具却仍答错的运行，其检测能力尚未测量。第二个、独立的判据——一个用于检验数据表断言是否在物理测量下成立的 causal chamber——是有意不完全的：它只确认装置能够检验的内容，即那 37 条中的 2 条所构成的可验证范围；我们还给出了其余断言为何无法进行物理评测的分类。在受控扰动下，保真度始终通过，而该腔体的判定恰好在测量不确定度处翻转。在三个已部署的模型栈中（其中一个的不稳定源于其服务栈，而非任何能力缺陷），工具层带来的是可移植性和可观测性，而不是准确率；只有当文档超出上下文窗口时，它的额外成本才真正值得。