面向智能体排行榜的测量优先审计：污染易感性、匹配对照重评估与评分器验证

智能体排行榜日益使用公开基准来评估系统，而这些基准的任务描述和包含解答的工件可能持续处于可访问状态。我们提出了一种测量优先的审计框架，根据支持污染声明所需的证据，对污染声明进行区分。该框架将需要不同证据的渠道分为三类：训练时暴露、评估时检索，以及流水线/脚手架泄漏。按照失败即关闭规则，每个渠道被编码为开放、部分开放、关闭或未知。在九种 Holistic Agent Leaderboard (HAL) 配置中，27项渠道评估无一被编码为关闭，但在其中四种配置中确认了相关事件。随后，我们将该框架的行为组件应用于 SWE-bench Verified 中一项已报告的文件定位差距，采用结果盲法、同一仓库匹配对照设计，并结合对称式提示泄漏筛查、成对且考虑仓库因素的不确定性分析，以及评分器验证，在 GPT-4.1 和 DeepSeek-V4-Flash 上进行评估。在经过对称筛查和成对完整性排除后保留的100对样本中，GPT-4.1 显示出按样本对加权的、与基准相关的 $+10.0$ 个百分点差距；但预先指定的成对自助法和事后仓库均衡分析所得的95\%区间均包含零，因此与基准相关的差距尚无定论。复现实验评分器未通过其验证门槛：相对于人类共识标签，无法为任一模型确立足够的评分器敏感度；而且 DeepSeek-V4-Flash 在正确金标准对比中的两次触发均为误报。在缺乏溯源证据、适当对照、对称式泄漏筛查和经过验证的评分器的情况下，不应提出更强的污染声明。研究结果无法证明训练数据成员关系、污染普遍程度或基准导致的分数膨胀。