漂移决定何时，预算决定多少：面向长篇多模态生成的速率控制 KV 重选择

arXiv:2610.31433v1 公告类型：新投稿 摘要：多模态 LLM 的 KV 缓存压缩通常仅在预填充阶段选择一次要保留的视觉 token，并在整个生成过程中复用这一选择。我们表明，这种一次性选择在长篇生成中存在严重局限：在详细图像描述任务中，即便使用未压缩答案的注意力进行选择的理想方法，与未压缩输出的 ROUGE-L 一致性也仅为 0.44–0.52，因为随着描述展开，模型读取的证据会发生转移。每当注意力漂移到保留集合之外时重新选择，是一种自然的补救方式，但我们发现，固定漂移阈值会系统性地失效：不同样本的漂移幅度不具可比性，因此低漂移样本几乎从不刷新，尽管它们从刷新中获益最多。我们提出 Rate-Controlled Refresh（RCR），让漂移决定何时、在何处重新选择，同时由逐样本控制器调节刷新频率，并结合低秩漂移检测器、候选范围受限的重选择，以及始终在 GPU 上执行的决策。对所有模型和任务采用同一套设置时，在六种模型—任务配置中的五种上，RCR 的 ROUGE-L 比逐步检索方法 InfiniGen 高出 1.6–3.8 分，在第六种上则无显著差异；与此同时，RCR 与精确逐步重选择的差距保持在 1.7 分以内，估算的每步数据搬移量相当，而其 GPU 驻留检测器的大小仅为前者的四分之一。在 DetailCaps 上，由漂移决定刷新时机的策略，比相同刷新率下的随机刷新策略，以及即使采用更高刷新率的周期刷新策略，高出 2.0–5.0 分。在预注册的视频描述任务中，各样本的漂移较为一致，RCR 在 Qwen2-VL 上与 InfiniGen 相当，在 Qwen3-VL 上优于 InfiniGen，但在最接近的已测试刷新率下不再优于固定阈值方法，这与上述诊断一致；对象级评估表明，在三个模型中的两个上，以未压缩输出为参照时，RCR 的对象 F1 高于 InfiniGen。