BtsPruner：面向角色感知的大型视觉语言模型视觉令牌剪枝

大型视觉语言模型（LVLMs）通常会处理数百甚至数千个视觉令牌，导致推理过程中产生大量的计算和内存开销。现有的免训练剪枝方法通常使用语言模型注意力、视觉注意力或特征相似度来估计令牌重要性。然而，这些方法采用统一标准处理视觉令牌，忽略了令牌在视觉编码过程中可能承担不同角色。在本研究中，我们探究了 LVLMs 中视觉令牌角色的演变，并观察到随着编码的进行，令牌会逐步从局部细节载体转变为被全局引用的代表性令牌。基于这一观察，我们提出了 BtsPruner，一种免训练的角色感知视觉令牌剪枝框架，能够在固定预算下保留互补的令牌角色。具体而言，BtsPruner 首先根据注意力集中度的演变确定令牌角色转变点。随后，它从后期编码阶段发现被全局引用的代表性令牌，并递归地从早期编码阶段检索局部细节令牌，以恢复互补的细粒度证据。在 LLaVA-1.5、LLaVA-NeXT、Qwen-VL、InternVL 和 CogVLM 上进行的大量实验表明，在大幅减少令牌数量的情况下，BtsPruner 能够实现更优的性能保持效果。在 LLaVA-1.5-7B 上，仅使用 576 个视觉令牌中的 32 个（5.6%），BtsPruner 便保留了稠密模型 91.6% 的性能。在高分辨率 LLaVA-NeXT-7B 设置下，其 CUDA 延迟加速最高可达 5.95 倍。