预算约束下风险监测中免费协变量的一阶价值
The First-Order Value of Free Covariates in Budgeted Risk Monitoring
精选理由
证明免费输入特征可触发标注、加速风险变化检测,并量化其节省的延迟与预算代价。
AI 摘要
已部署的模型可以免费获取输入,但检查其风险是否上升需要付出高昂的标签成本。我们研究如何分配标签预算,以便快速检测风险上升,同时控制误报,包括在风险仍低于安全阈值 $τ$ 的输入分布偏移情形下。设 $A$ 为误报控制尺度,$h(r)=\mathrm{kl}(r,τ)$ 为变化后的风险 $r$ 与 $τ$ 之间的伯努利 KL 散度。在标签获取率为 $b=c/\log A$ 时,我们证明,任何仅根据自身标签历史选择标签请求的规则,其最坏情形(Lorden)延迟的一阶下界均为 $(1/h(r)+1/c)\log A$:除了收集证据,它还必须等待下一个标签。该下界仅要求对一段有限长度的安全源数据施加标签预算约束,并在初始窗口内控制误报;仅对首次误报的平均时间施加界限并不足够。当有害变化也引起输入分布偏移时,在一个固定的高斯模型上,由输入触发标签获取的规则可实现一阶延迟 $\log A/h(r)$,因此免费协变量至少可节省 $1/b$ 轮。针对输入保持不变的风险变化,一种混合规则加入了基于标签历史的后备机制。合成实验和两个 ACS 任务采用了强化的仅依赖标签的基线方法,结果呈现出理论预测的规律。协变量触发机制也有代价:由于其预算是在源分布上校准的,无害的输入分布偏移可能使其几乎对每个样本都请求标签。