CORAL-KV：用于自回归视频 KV 缓存的紧凑跨层预测与残差编码

arXiv:2610.12514v1 公告类型：交叉收录 摘要：自回归视频扩散模型维护着不断增长的注意力键值（KV）缓存，使内存成为长视频生成的主要瓶颈。近期，基于聚类的量化已成为压缩视频 KV 缓存的有效方法：先将相似的键向量和值向量分组，再量化残差误差。然而，当后续帧关注压缩后的历史信息时，微小的重建误差会随着视频长度增加而不断累积。除了聚类所利用的层内相似性，我们还发现视频模型的缓存层之间存在很强的依赖关系。这促使我们提出 Coral-KV——离线校准、残差编码与局部适配——这一 KV 缓存压缩框架。它利用各层的缓存状态预测后续层的键和值，再量化剩余的预测残差。我们构建了紧凑的块对角加低秩（block-DPLR）预测器：块对角分量对每个注意力头内部的通道关系建模，而全局低秩项则对注意力头之间的依赖关系建模。Coral-KV 提供了灵活的保真度与内存权衡：既可以跨视频复用预测器，也可以针对当前视频重新拟合轻量级块对角预测器，以获得更高的保真度。在 HY-WorldPlay 和 MAGI-1 上的广泛评估表明，与 QVG-4 相比，我们的可复用配置分别将 PSNR 提高了 0.32 dB 和 4.95 dB，同时将缓存内存占用分别减少了 48% 和 37%。与 QVG-Pro 相比，我们的视频适配配置将 MAGI-1 的 PSNR 提高了 3.77 dB，同时将缓存内存占用减少了 33.7%。Coral-KV 还能在长时间生成过程中保持更高的重建保真度，减少时间上的不连续性，同时保持相当的生成延迟。