覆盖率掩盖决策变动：VLM 标签注册表扩展过程中的共形决策审计与保持

arXiv:2611.07502v1 公告类型：交叉收录 摘要：视觉语言分类器仅凭文本即可学习新标签，因此其使用的标签列表会不断扩展。我们表明，这种扩展会悄然改变针对旧标签的共形决策。常见的基于 softmax 的共形分数将每个标签与所有标签的平均值进行比较；添加标签会改变这一平均值，进而改变每个旧标签的分数，即使模型、图像和旧校准数据均保持不变。更新后重新校准可以维持覆盖率保证，但在十一种设置中，这会导致 53–90% 的新图像上至少一个旧标签的决策发生变化。覆盖率无法揭示这一现象，因为它只检查真实标签：在保留旧校准、从而仅改变归一化因子的五种受控设置中，旧类别覆盖率的变化至多为 0.01，但 60–67% 的图像上的决策发生了变化。我们提出了一种生命周期审计方法，在衡量覆盖率和集合大小的同时衡量这些变化，并提出一种简单的修正方法 PrefixCP：每个类别保留其加入时的标签注册表。由此，针对旧类别的决策永远不会改变，在可交换性条件下，每个类别均保持精确的类别条件覆盖率，且只需一次前缀扫描即可同时计算所有历史归一化因子。重新校准能够缩小集合，却会改变旧决策；相较于从不更新参考基准，PrefixCP 弥合了其与重新校准之间集合大小差距的 40.9–58.5%。