超越一刀切：面向 MLLMs 视觉 Token 剪枝的样本自适应策略路由

多模态大语言模型（MLLMs）会为每张图像处理数百乃至数千个视觉 Token，从而产生高昂的推理成本。现有的视觉 Token 剪枝方法虽能缓解这一开销，但它们隐含地假设可以对所有输入统一采用单一固定的剪枝策略。我们的分析进一步揭示，按照基准测试平均准确率对剪枝方法进行排名，会掩盖显著的样本级互补性：尽管平均表现最佳的策略整体上最为出色，但其他策略在相当比例的独立样本上表现更优。为利用这种多样性，我们提出 VIP-Router，一种轻量级的 VIsion Pruning Router，可在指定剪枝级别下，自适应地选择预测为最适合每个输入的剪枝策略。VIP-Router 基于低成本的视觉和文本特征，在保留完整 Token 推理选项的同时，识别最合适的候选策略，以应对预测剪枝可能不利的情况。在精心筛选的、对剪枝敏感的视觉感知基准 VTC-Bench Group A 上进行评估时，VIP-Router 在所有压缩比例下均持续优于最佳固定策略基线：平均准确率相对提升 26.9%，在计入实际 Token 成本后，平均效用相对提升 22.0%。值得注意的是，VIP-Router 以即插即用的方式运行，无需修改底层剪枝算法或模型权重，其可训练参数量仅相当于主干模型的 0.017%。此外，VIP-Router 在多种 MLLM 主干模型上均表现有效，并在未见过的基准测试上取得稳定增益，凸显了样本自适应路由在视觉 Token 剪枝中的潜力。