已编码却未连通：在修补无效的情况下分解视觉语言模型的失效
Encoded but Disconnected: Decomposing Vision-Language Model Failures under a Patching Null
精选理由
揭示视觉语言模型错误中“答案已编码却未影响输出”的机制，并提出可区分的失败类型以指导干预研究。
AI 摘要
arXiv:2610.00024v1 公告类型：交叉收录 摘要：我们在三种视觉语言模型架构（LLaVA-1.5-7B、Qwen2.5-VL-7B、InternVL3-8B）上报告了一项关于中间层可解释性的普遍阴性发现。在三者共用的 POPE 基准上，68–91% 的错误样本在中间层编码了真实答案，但这一信号对最终预测并未发挥因果作用：在全部三种架构上，残差流修补在层级上的非平凡翻转率均为 0%；在其中两种架构上，逐注意力头修补也得到同样结果（Qwen：12,600 次修补后的前向传播中有 0 次翻转）。唯一的例外是 InternVL3 第 20 层的第 2 个注意力头，它是一个不面向词汇表、关注自身的注意力头，其效应仅限于该特定头（p < 1e-4）。尽管修补结果为阴性，这些错误仍可在操作层面分为三种失效模式——感知失效、已编码却未连通、先验覆盖——且在全部三种架构上均能以超过 60% 的准确率学习区分；此外，架构的先验方向能够预测两种干预中哪一种会引发类别特异性响应。我们报告了使用真实类别标签时这些干预的缓解效果，以此证明这些类别在机制层面确实存在，而非将其作为一种可部署的方法。