SinkPruner：面向多模态大语言模型的无 Sink 视觉 token 剪枝

尽管多模态大语言模型（MLLMs）具有很强的多模态理解能力，但在处理长视觉 token 序列时会产生巨大的计算开销。为降低推理成本，近期研究通过以视觉为中心或文本引导的策略探索视觉 token 剪枝。然而，这些方法往往忽视高范数离群 token，即特征范数异常大的 token，从而导致次优的剪枝决策。 在本文中，我们表明这类高范数离群 token 在特征和空间两个维度上都高度冗余，但现有方法却常将其误保留为有信息的线索。 受此观察启发，我们提出 SinkPruner，一种无需训练的视觉 token 剪枝框架，用于高效的 MLLM 推理。SinkPruner 采用由粗到细的设计，包含两个关键模块：一个视觉净化器，用于过滤高范数冗余并缓解 attention sink 和 attention dispersion；以及一个文本引导的剪枝器，进一步保留与文本查询在语义上对齐的 token。 在十二个图像-语言和四个视频-语言基准上的大量实验表明了我们框架的有效性、效率和泛化性。值得注意的是，在 token 减少 89% 的情况下，SinkPruner 仍保留了 LLaVA-1.5（Qwen2.5-VL）原始性能的 96.5%（91.8%）。实验进一步表明，我们的视觉净化器在提升现有剪枝方法性能方面具有良好的可迁移性。我们的代码地址为 https://github.com/LaVi-Lab/SinkPruner。