V-CoLA：采用线性注意力的视觉令牌压缩

arXiv:2610.11251v1 公告类型：交叉领域 摘要：视觉语言模型（VLM）展现出了令人印象深刻的能力，但由于视觉令牌占据输入序列的主要部分，因而面临显著的计算开销。这推动视觉令牌压缩成为减轻计算负担的关键方向。然而，随着融合线性注意力的混合架构（例如 Qwen3.5）的出现，针对 softmax 注意力设计的既有方法难以实现泛化。我们的分析表明，基于注意力和基于相似度的方法都会遭遇明显的性能下降，凸显了针对这一场景设计压缩方法的迫切需求。为此，我们提出了 \textbf{V-CoLA}，一种专为线性注意力设计的高效、无需训练的令牌压缩框架。V-CoLA 引入了一种新颖的\textit{感知独特性的​​重要性准则}，用于识别关键视觉令牌，并结合\textit{自适应令牌合并策略}执行压缩。所有组件均在实现层面进行了优化，以保持与线性注意力的分块并行机制兼容，从而确保较高的实际应用价值。在多个基准上的大量实验表明，V-CoLA 具有优越性能：仅使用 50.0\% 的视觉令牌即可达到原始性能的 99.5\%，在视觉令牌数量减少至 12.5\% 时仍能达到 88.0\% 以上的性能，同时实现 1.86$\times$ 至 6.15$\times$ 的预填充加速。