通过弃权获得认证：小校准预算下思维链验证器的无分布假设保证

arXiv:2610.09541v1 公告类型：交叉收录 摘要：预测思维链（CoT）轨迹是否正确的信号通常通过 AUC 进行比较，但部署这类信号需要一个具有保证的阈值。我们使用七个开放模型、五种验证器信号和 37,000 条已评分轨迹，研究在数十至数百道已标注问题这一现实校准预算下，无分布假设的选择性保证能为 CoT 验证器提供什么。核心观察是通过弃权维持有效性：一个以概率 $P_{\rm fire}$ 出具证书的 $(\alpha,\delta)$-有效程序，对已出具证书的失效概率只能给出 $\delta/P_{\rm fire}$ 的上界，因此，极少触发的证书可以在统计意义上有效，却在每次使用时都出错。在一项风险已知的模拟中，标准证书在所有校准抽样中的失效比例至多为 0.3%，但在触发证书的校准抽样中，这一比例最高可达 69%。认证下限以及 Benjamini-Hochberg 共形选择的格点条件解释了为何证书在这些预算下会弃权，数据也印证了这一点：标准证书要么不返回任何结果，要么返回一个很大的接受集；而一个不可读的残差流探针所实现的覆盖率是可读信号的两到三倍，交叉拟合重构无法从可读特征中线性恢复出这一优势。随后，我们提出一种从下限起步的固定序列证书，无须单调性假设即可保证有效性；它在每个模型与信号组合上的覆盖率都高于 Bonferroni 证书，并将非空泛目标 $0.75\pi_0$ 下的覆盖率从 0.05 提升至 0.16，尽管该下限仍使绝对覆盖率保持在较低水平。最后，证书无法洞察部署后真正重要的情况：在基准分布偏移下，被接受轨迹的错误率随新任务的基础错误率变化；而在针对验证器进行 best-of-$n$ 选择时，该错误率会上升并超过目标值，但经验失效频率仍低于 $\delta$，因为弃权吸收了这些失效。