更少的 Token，更多的自我教学：面向极端视觉 Token 缩减的在策略自蒸馏

arXiv:2609.32353v2 公告类型：replace-cross 摘要：视觉 Token 缩减是加速多模态大语言模型（MLLM）的有效方法，但在极低 Token 预算下，模型性能会迅速下降。现有研究探索了视觉 Token 选择，以及针对缩减视觉输入的基于训练的适配方法。我们进一步提出一个问题：经过大幅压缩的 MLLM 应如何从自身生成结果所诱导的状态中学习？这一设定自然要求采用在策略自蒸馏：让经过大幅压缩的模型在其自身生成结果所诱导的状态上接受监督，同时由其全 Token 版本充当信息丰富的教师模型。基于这一洞见，我们提出了 LT-OPD，一种用于极端视觉 Token 缩减的训练框架。学生模型仅使用一小部分视觉 Token 展开响应生成，而同一 MLLM 的冻结全 Token 副本则沿着学生模型生成的轨迹提供分布监督。为在视觉证据严重受限时稳定在策略学习，我们进一步引入了预算级课程学习，在训练过程中逐步降低 Token 预算。在 Qwen3.5-4B 的九个基准测试中，在仅保留 5% 视觉 Token 的情况下，LT-OPD 将平均性能保持率从 68.6% 提升至 82.3%，在相同预算下超过了无需训练、基于训练以及基于强化学习的基线方法。这些提升还稳定迁移至 Qwen3.5-9B、GLM-4.6V-9B 和 LLaVA-OV-1.5-4B。LT-OPD 还将 KV-cache 使用量降低了 85.2%，将 prefill FLOPs 降低了 85.4%，且不会增加额外的推理开销，表明在策略学习能够大幅恢复因极端视觉 Token 缩减而损失的能力。