拒绝、分解、刷新:一套声明安全的闭环 AI 评估协议
Refuse, Decompose, Refresh: A Claim-Safe Protocol for Closed-Loop AI Evaluation
精选理由
提供闭环AI评测的可执行安全协议,避免无依据结论并提升结果可信度。
AI 摘要
AI 评估即使完全可复现,也仍可能支持错误的声明。在闭环系统中,这一风险尤为突出:策略决定所访问的状态、可观测组件,以及哪些故障会留下可测量的痕迹。我们提出了一套包含三项行动的声明安全协议。拒绝:当缺乏干净的参考流或匹配的运行时比较依据时,弃权。分解:将协议执行情况、操作性错误准入和结构性假设分开报告,而不是合并为一个 PASS/FAIL 标签。刷新:将分布偏移警报视为要求使参考映射失效并重新计算的信号,而不是故障证据。我们在一个仅使用聚合数据的模拟器中实例化了该协议,其中包含24个策略组件、三种需求机制、两类故障掩码族,以及相互独立的开发集和留出集随机种子。预注册的留出集包含1,440个案例和21,600行分区数据。在72个机制-组件单元中,仅有55个通过参考准入,其中54个仍通过运行时准入,因此弃权本身就是结果的一部分。在20个有代表性的组件中,稳定的错误准入为0/20;在冻结的0.20规则下,单侧精确95%上界为0.1391。在通过准入的单元中,受影响的干净流量的预测能力高于名义故障单元占比:在嵌套于20个组件簇中的540行单元-臂数据中,单元格与流量之间的负对数似然差值为每行0.1264纳特,组件簇层面的95%区间为[0.0593, 0.1918]。漂移日志说明了为什么“零假设”必须相对于参考而言:在三种机制下,干净的故障零假设流分别触发了15/15、0/15和14/15次警报,而只有中间机制与冻结的检测器参考相匹配。我们贡献的不是一个通用阈值,而是一份可执行的契约,将可观测支持、统计校准与有依据的声明连接起来。