PACE：一种用于快速 VLM 推理的统一压缩-提取范式

视觉-语言模型（VLM）展现出卓越的视觉推理能力，然而随着视觉 token 数量的增加，其推理成本也迅速攀升。现有的视觉 token 剪枝方法存在两个根本性局限。第一，大多数方法仅在 vision encoder 之后进行操作，未能优化视觉编码阶段的显著延迟。第二，在严格的 token 预算下，这些方法往往无法同时保留整体视觉上下文和细粒度细节，导致性能下降。为解决这些瓶颈，我们提出 PACE（Pixel-Adaptive Condense and Extract），一种无需训练的推理框架，通过统一的 Condense-and-Extract 范式同时加速 vision encoder 和 Large Language Model（LLM）。在 Condense 阶段，Adaptive Pixel Compressor（APC）在编码前评估视觉信息密度，自适应地下采样冗余输入，减少 encoder 计算量，同时保留全局上下文和关键视觉线索。在 Extract 阶段，Dynamic Dual-Attention Extractor（DDAE）通过融合来自 encoder 的内部视觉信号和来自 LLM 的语义信号，选择性保留视觉 token，从而保护任务关键细节。将 PACE 集成到 Qwen2.5-VL-7B 后，模型仅使用 10% 的视觉 token 即可保留原始性能的 93.8%，使首次 token 输出时间（TTFT）加速 3.1 倍。我们的代码见 https://github.com/jjL357/PACE。