我们是否正确评估了 VLM Token Pruning？超越准确率与 Token 数量

视觉 Token Pruning 旨在降低推理成本，同时保留原始 VLM 的能力。然而，现有评估依赖任务总体准确率和保留 Token 数量，将其作为剪枝质量与实际效率的代理指标。我们揭示了两个局限：1）总体准确率可能掩盖剪枝方法是否真正识别出关键视觉 Token；许多样本即使进行任意 Token 移除仍然可以解答，且当视觉证据受损时，模型可能利用文本捷径。2）保留 Token 数量并不是可靠的效率代理指标，因为即使 Token 预算相同，剪枝发生的位置和方式不同，也可能导致不同的端到端成本。因此，基于总体准确率和保留 Token 数量的比较，无法恢复不同方法在全局范围内的性能—效率 Pareto 前沿。我们提出 PAA-Bench，这是一个可即插即用、适用于现有基准的评估框架，用于评估剪枝是否通过有意义的 Token 选择取得成功，以及这种成功是否能够转化为实际加速。为确定 Token 选择何时真正重要，我们提出 Random-Pass@k，用于衡量一个样本在随机剪枝下仍保持正确的频率，从而能够在不同选择难度水平上进行全面评估。为公平比较效率，我们提出 Preservation-Constrained Speedup（PCS），用于报告每种方法在统一保持目标下所能实现的最大端到端加速比。在 8 种方法、3 个 VLM 主干模型和 9 个基准上的实验表明，更强的 Token 压缩并不一定带来更大的加速；在 Token 选择至关重要的样本上，不同方法之间的差异会扩大；并且效率排名会随着保持目标的变化而改变。