从修补到剪枝视觉语言模型中的视觉计算

arXiv:2610.03389v1 发布类型：cross 摘要：视觉语言模型（VLM）会产生显著的推理成本，因为每个视觉 token 都要经过每个解码器层中的注意力投影和 MLP 投影，即使在许多深度位置并不需要针对特定 token 的视觉计算。我们提出 Patch-to-Prune（P2P），其受机制可解释性启发，是一种无需训练的框架，将激活修补从诊断工具转变为推理时的计算旁路机制。P2P 执行由验证引导的前向和后向层扫描，以识别解码器中可以在用户指定的精度容忍范围内，用固定的中性代理激活向量替代视觉 token 投影输出的区域。不同于传统的 token 剪枝方法，P2P 保留序列长度、token 顺序、位置信息、注意力掩码和残差路径，从而在不移除 token 或修改预训练模型权重的情况下剪枝计算。我们在来自 Qwen2.5-VL 和 LLaVA 系列的四个 VLM 上进行评估，涵盖七个多模态基准，并使用彼此完全不重叠的校准集、验证集和测试集划分。在 3% 的容忍度下，P2P 保留了约 94% 的稠密模型精度，同时将 FLOPs 降低了 55%。除效率提升之外，我们的逐层分析表明，VLM 中的视觉处理并非均匀分布在解码器深度上：早期和晚期层通常只需要很少的特定 token 视觉计算，而中间层似乎执行了大部分与任务相关的视觉整合，使后续推理能够主要依赖已经嵌入共享残差表示和文本表示中的视觉信息。因此，P2P 既是一个高效的推理框架，也是一个用于理解 VLM 中视觉信息处理因果机制的窗口。