面向视觉语言模型的环境感知分布外检测理论分析

arXiv:2610.27211v1 公告类型：new 摘要：持续学习的视觉语言模型（VLM）会接触一系列环境，同时还必须拒绝不属于当前环境的输入。来自早期环境的类别信息可以辅助分布外（OOD）检测，但现有检测器会孤立地对每个环境进行评分，而先前环境何时提供帮助、何时造成干扰，在理论上尚不明确。我们基于贡献分数，构建了环境感知 OOD 检测理论；贡献分数是衡量一个环境的图像特征和文本特征与另一个环境的图像特征和文本特征之间对齐程度的成对余弦期望。我们提出一种跨环境最大概念匹配（MCM）分数，包含两项：第一项将测试图像与当前类别文本进行匹配；第二项将测试图像与先前环境的类别文本进行匹配，并根据两个环境之间的模态内对齐程度进行加权。我们证明，在环境转移为正且 OOD 输入具有有界的类别匹配间隔的条件下，在经过调整的阈值下，该分数的假阳性率不高于标准 MCM 检测器的假阳性率。随后我们表明，两个环境之间 MCM 检测器的分数差，等于分布内环境的自贡献减去其对 OOD 环境的跨模态贡献。由此可以区分软 OOD 环境和硬 OOD 环境：对于前者，我们给出了明确的 AUROC、真阳性率和假阳性率保证；对于后者，任何能够保留分布内数据的阈值都无法可靠地将其拒绝。对于级联检测，即汇集所有已见环境的文本原型，我们证明对每个过去环境的假阳性率会随时间非递减，并刻画了检测必然失败的条件。最后，将贡献平衡因子应用于分类损失梯度和经过平滑处理的假阳性率梯度，从而完善了这一框架。