RECAP:利用请求局部记忆与持久记忆实现多模态推测解码的上下文感知预测复用
RECAP: Context-Aware Prediction Recycling with Request-Local and Persistent Memories for Multimodal Speculative Decoding
精选理由
提出免训练的多模态解码加速方法,通过融合请求级与持久预测记忆,提升生成速度并减少图像上下文错配。
AI 摘要
复用目标模型自身的预测,可为推测解码提供无需训练的候选来源。然而,在视觉语言模型中,现有复用方法仅按最后一个词元对预测建立索引,混淆了在不同图像和前缀条件下计算出的预测;我们发现,这种复用最常在对图像敏感的解码状态下失效。更长的键可以减少这种混淆,但能匹配的状态也更少。我们提出了 \method,它使用单词元、双词元和三词元键存储目标模型的预测:上下文记忆仅在当前请求期间存在,因此隐式地以该请求的图像为条件,而词元级记忆则跨请求持久保留,以维持覆盖率。每次查找时,熵置信度加权会根据检索到的预测所对应键的特异性及预测分布的集中程度,对这些预测进行融合。最佳优先搜索将融合后的转移组合成候选树,并以通过后缀匹配获得的续接序列加以补充,再通过目标模型的一次前向传播,在贪心解码下验证该树。在无需训练或辅助草稿模型的情况下,\method\ 在 Qwen2.5-VL-7B 和 LLaVA-1.6-7B 上的七个单轮基准测试中,相较于自回归解码分别实现了 $1.66\speed$ 和 $1.56\speed$ 的平均加速,超过了最强的免训练基线 Token Recycling($1.51\speed$ 和 $1.37\speed$)。我们的实现已公开于 https://github.com/Senmo996/RECAP-official-code。